Бот MabitimBot

Последнее обновление: 03.09.2026

1. Что такое MabitimBot

MabitimBot это краулер сервиса Mabitim (מביטים), продукта Israsky. Он обходит сайт только по заявке владельца: владелец сам добавил свой сайт в Mabitim, чтобы получить технический аудит. Бот смотрит коды ответов, заголовки, мета-описания, canonical, hreflang, разметку schema, битые ссылки, robots.txt, карту сайта (sitemap), llms.txt и срок действия сертификата SSL. Чужие сайты по своей инициативе он не обходит. Собранные данные мы не продаём и не передаём третьим лицам, они идут только в отчёт владельцу сайта.

2. Как узнать наш бот

Бот представляется такой строкой User-Agent: MabitimBot/1.0 (+https://mabitim.com/bot)

Запросы приходят только с двух адресов: 46.4.21.118, 178.63.168.43 (сервер Israsky в Германии, Hetzner). Если запрос с такой же строкой User-Agent пришёл с другого адреса, это не наш бот.

3. Как бот себя ведёт

• Читает robots.txt и выполняет правила для MabitimBot и общие правила для всех роботов.
• Уважает Disallow и Crawl-delay.
• Делает не больше двух одновременных запросов к одному сайту.
• Заходит не чаще, чем нужно для аудита: обычно раз в неделю, главная и до нескольких сотен страниц, в зависимости от тарифа.
• Не читает страницы с пометкой nofollow, не заполняет формы и не заходит в закрытые разделы.

4. Как запретить обход

Добавьте в robots.txt две строки:

• User-agent: MabitimBot
• Disallow: /

Мы увидим это при следующем обходе. Можно просто написать нам на support@mabitim.com, укажите в теме «MabitimBot».

5. Связь с нами

Почта: support@mabitim.com. Отвечаем Вс–Чт 9:00–21:00.