За апрель 2014 года согласно статистике awstat порядка 6000 хитов по страницам моего блога были произведены "пользователями" которые имели пустую строку user-agent. Таких посетителей я априори считаю интернет ботами. Поэтому, раз представляться их не учили, я считаю что и ничего полезного от них, кроме как лишней нагрузки на сервер, и ожидать не стоит. Решил прикрыть им лавочку и посмотреть на результат через месяц.

Для того, чтобы заблокировать доступ к вашему сайту интернет ботам с пустой строкой user-agent нужно добавляем в файл .htaccess (если у вашего хостинга веб-сервер апачи конечно) следующие строки:

RewriteCond %{HTTP_REFERER} ^$ [NC] 
RewriteCond %{HTTP_USER_AGENT} ^$ [NC] 
RewriteRule .* - [F]

Данная комбинация настроек будет работать только если поисковый робот пришел также с пустой сигнатурой http-referer. По-русски говоря, что если к вам на сайт он попадет с ссылки с какого-либо другого сайта (например, с любой поисковой системы), то его содержание он получит и прочитает. Если же робот завалится к вам по своей собственной инициативе, то получит в ответ болты. О результатах данного опыта напишу в конце мая.