Продолжаю собирать сигнатуры интернет роботов для моего модуля, который показывает кто из ботов и пользователей сейчас онлайн на блоге. Сегодня научил свой модуль определять паука поисковой системы обратных ссылок http://www.opensiteexplorer.org/ под названием DotBot

DotBot - интернет паук поисковой системы обратных ссылок Open Site Exploler

DotBot собирает по сети информацию и создает своего рода базу обратных ссылок на ресурсы сети. В последующем данные используются различными платными SEO сервисами, например, такой как MOZ.

Чем привлек внимание данный бот? А тем, что аппетит у него какой-то ненормальный. Может взять и под сотню сессий создать на сайте. Хозяином данного бота является поисковый сео сервис, и при попадании вашего сайта в его базу, каждый раз как он будет обновлять данные по вам, то их паук будет висеть на вашем сайте. Полезного ничего в результатах его деятельности я не обнаружил, поэтому его можно заблокировать или свести к минимуму его присутствие на вашем сайте.

User-agent строка бота DotBot обычно выглядит следующим образом:

Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot)

Для того, чтобы закрыть от данного бота индексацию вашего сайта нужно в файле robots.txt вставить следующие строки:

User-agent: dotbot
Disallow: /

В случае, если вам нужно полностью перекрыть доступ бота DotBot к вашему сайту, нужно в файл .htaccess добавить следующие строчки кода:

SetEnvIfNoCase User-Agent "DotBot" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

Если пост тебе помог - поделись с друзьями. Это будет наилучшая поддержка для меня!

Для того чтобы задать вопрос или оставить комментарий вы можете авторизоваться через любую социальную сеть ниже:

Комментарии  
andrapp
+1 # andrapp 14.04.2018 16:54
Хорошая статья, помогла очень, спасибо!
Ответить
kirill
+1 # kirill 10.12.2018 16:16
единственный способ который помог
а как запретить другие боты таким же способом ?
Ответить
Ягнёнок
+1 # Ягнёнок 10.12.2018 22:35
Ну да, задаешь новой строкой User-Agent бота для блокировки как в первой строке прямо под ней и всего делов)
Ответить
Добавить комментарий