За апрель 2014 года согласно статистике awstat порядка 6000 хитов по страницам моего блога были произведены "пользователями" которые имели пустую строку user-agent. Таких посетителей я априори считаю интернет ботами. Поэтому, раз представляться их не учили, я считаю что и ничего полезного от них, кроме как лишней нагрузки на сервер, и ожидать не стоит. Решил прикрыть им лавочку и посмотреть на результат через месяц.

Для того, чтобы заблокировать доступ к вашему сайту интернет ботам с пустой строкой user-agent нужно добавляем в файл .htaccess (если у вашего хостинга веб-сервер апачи конечно) следующие строки:

RewriteCond %{HTTP_REFERER} ^$ [NC] 
RewriteCond %{HTTP_USER_AGENT} ^$ [NC] 
RewriteRule .* - [F]

Данная комбинация настроек будет работать только если поисковый робот пришел также с пустой сигнатурой http-referer. По-русски говоря, что если к вам на сайт он попадет с ссылки с какого-либо другого сайта (например, с любой поисковой системы), то его содержание он получит и прочитает. Если же робот завалится к вам по своей собственной инициативе, то получит в ответ болты. О результатах данного опыта напишу в конце мая.

Если пост тебе помог - поделись с друзьями. Это будет наилучшая поддержка для меня!


Или закинь автору на пиво :-)

Для того чтобы задать вопрос или оставить комментарий вы можете авторизоваться через любую социальную сеть ниже:

Комментарии  

Pro33 Permalink +6 Pro33
И как результаты?
01.11.2014 15:26 Ответить Ответить с цитатой Цитировать
wdtime.ru Permalink +1 wdtime.ru
+1 Как результаты?
17.03.2016 18:39 Ответить Ответить с цитатой Цитировать
xxx Permalink 0 xxx
Г-Д-Е---Р-Е-З-У-Л-Ь-Т-А-Т-Ы-??? :o :cry:
20.11.2017 09:53 Ответить Ответить с цитатой Цитировать
XXXX Permalink 0 XXXX
Г-Д-Е---Р-Е-З-У-Л-Ь-Т-А-Т-Ы-???
23.01.2019 00:23 Ответить Ответить с цитатой Цитировать
Антон Permalink +1 Антон
Видать только положительные :lol:
24.01.2019 12:08 Ответить Ответить с цитатой Цитировать
Анискин Permalink 0 Анискин
RewriteCond %{HTTP_REFERER} ^$ [NC]
уведет всех пользователей кто пришел с закладок
31.10.2019 14:54 Ответить Ответить с цитатой Цитировать

Добавить комментарий

Ответьте на вопрос:
Какая 3я буква в слове 'джумла'?