Немецкая SEO компания SISTRIX дрессирует на просторах сети своего бота-паука под аналогичным названием SISTRIX Crawler.
Данный бот-паук сканирует содержание вашего сайта для каких-то рабочих моментов компании SISTRIX. По идее это обычный SEO сервис, которых в последние годы наплодилось такая гора, что диву даешься. Кто с ним знаком, ласково называют бота "Сестричкой".
В общем, наглец этот имеет сигнатуру аналогичную своему названию и user-agent
SISTRIX Crawler
Пользы для вас от данного бота-паука никакой, поэтому можно закрыть ему сайт от индексации полностью при помощи файл robots.txt (согласно официальной странице бота он данных правил придерживается) следующим образом:
User-agent: sistrix Disallow: /
А лучше, чтобы он и вовсе не насиловал ваш ресурс своим присутствие и сразу прописывать ему болты при попытке получения данных от веб-сервера. Для это в файле .htaccess вставляем следующие строчки:
SetEnvIfNoCase User-Agent "SISTRIX Crawler" bad_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit>