Немецкая SEO компания SISTRIX дрессирует на просторах сети своего бота-паука под аналогичным названием SISTRIX Crawler.

Данный бот-паук сканирует содержание вашего сайта для каких-то рабочих моментов компании SISTRIX. По идее это обычный SEO сервис, которых в последние годы наплодилось такая гора, что диву даешься. Кто с ним знаком, ласково называют бота "Сестричкой". 

SISTRIX Crawler - вредный бот немецкой SEO компании

В общем, наглец этот имеет сигнатуру аналогичную своему названию и user-agent

SISTRIX Crawler

Пользы для вас от данного бота-паука никакой, поэтому можно закрыть ему сайт от индексации полностью при помощи файл robots.txt (согласно официальной странице бота он данных правил придерживается) следующим образом:

User-agent: sistrix
Disallow: /

А лучше, чтобы он и вовсе не насиловал ваш ресурс своим присутствие и сразу прописывать ему болты при попытке получения данных от веб-сервера. Для это в файле .htaccess вставляем следующие строчки:

SetEnvIfNoCase User-Agent "SISTRIX Crawler" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
 

Добавить комментарий

Вы можете оставить комментарий авторизовавшись через любую из представленных социальных сетей ниже:

                 


Защитный код
Обновить