Продолжаю собирать сигнатуры интернет роботов для моего модуля, который показывает кто из ботов и пользователей сейчас онлайн на блоге. Сегодня научил свой модуль определять паука поисковой системы обратных ссылок http://www.opensiteexplorer.org/ под названием DotBot

DotBot - интернет паук поисковой системы обратных ссылок Open Site Exploler

DotBot собирает по сети информацию и создает своего рода базу обратных ссылок на ресурсы сети. В последующем данные используются различными платными SEO сервисами, например, такой как MOZ.

Чем привлек внимание данный бот? А тем, что аппетит у него какой-то ненормальный. Может взять и под сотню сессий создать на сайте. Хозяином данного бота является поисковый сео сервис, и при попадании вашего сайта в его базу, каждый раз как он будет обновлять данные по вам, то их паук будет висеть на вашем сайте. Полезного ничего в результатах его деятельности я не обнаружил, поэтому его можно заблокировать или свести к минимуму его присутствие на вашем сайте.

User-agent строка бота DotBot обычно выглядит следующим образом:

Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot)

Для того, чтобы закрыть от данного бота индексацию вашего сайта нужно в файле robots.txt вставить следующие строки:

User-agent: dotbot
Disallow: /

В случае, если вам нужно полностью перекрыть доступ бота DotBot к вашему сайту, нужно в файл .htaccess добавить следующие строчки кода:

SetEnvIfNoCase User-Agent "DotBot" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

В моем модуле для него была создана следующая иконка  

Добавить комментарий

Вы можете оставить комментарий авторизовавшись через любую из представленных социальных сетей ниже:

                 


Защитный код
Обновить