За апрель 2014 года согласно статистике awstat порядка 6000 хитов по страницам моего блога были произведены "пользователями" которые имели пустую строку user-agent. Таких посетителей я априори считаю интернет ботами. Поэтому, раз представляться их не учили, я считаю что и ничего полезного от них, кроме как лишней нагрузки на сервер, и ожидать не стоит. Решил прикрыть им лавочку и посмотреть на результат через месяц.

Для того, чтобы заблокировать доступ к вашему сайту интернет ботам с пустой строкой user-agent нужно добавляем в файл .htaccess (если у вашего хостинга веб-сервер апачи конечно) следующие строки:

RewriteCond %{HTTP_REFERER} ^$ [NC] 
RewriteCond %{HTTP_USER_AGENT} ^$ [NC] 
RewriteRule .* - [F]

Данная комбинация настроек будет работать только если поисковый робот пришел также с пустой сигнатурой http-referer. По-русски говоря, что если к вам на сайт он попадет с ссылки с какого-либо другого сайта (например, с любой поисковой системы), то его содержание он получит и прочитает. Если же робот завалится к вам по своей собственной инициативе, то получит в ответ болты. О результатах данного опыта напишу в конце мая.

Если пост тебе помог - поделись с друзьями. Это будет наилучшая поддержка для меня!


Или закинь автору на пиво :-)

Для того чтобы задать вопрос или оставить комментарий вы можете авторизоваться через любую социальную сеть ниже:

Комментарии  
Pro33
+6 # Pro33 01.11.2014 15:26
И как результаты?
Ответить
wdtime.ru
+1 # wdtime.ru 17.03.2016 18:39
+1 Как результаты?
Ответить
xxx
0 # xxx 20.11.2017 09:53
Г-Д-Е---Р-Е-З-У-Л-Ь-Т-А-Т-Ы-??? :o :cry:
Ответить
XXXX
0 # XXXX 23.01.2019 00:23
Г-Д-Е---Р-Е-З-У-Л-Ь-Т-А-Т-Ы-???
Ответить
Антон
+1 # Антон 24.01.2019 12:08
Видать только положительные :lol:
Ответить
Анискин
0 # Анискин 31.10.2019 14:54
RewriteCond %{HTTP_REFERER} ^$ [NC]
уведет всех пользователей кто пришел с закладок
Ответить
Добавить комментарий