Поисковый робот Яндекса, он же YandexBot - самый уважаемый интернет-робот российского сегмента интернета. Как показывает практика, более половины посетителей сайтов рунета переходят на них при помощи поисковой системы Яндекс. А формировать поисковую выдачу как раз помогает YandexBot - основной индексирующий робот компании Яндекс.

При посещении вашего сайта робот YandexBot представляется следующим образом:

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

В моем модуле Сейчас Онлайн данный бот имеет следующую картинку-сигнатуру: 

Как правило проблем с нагрузкой на ваш веб-сервер данный робот не создает, и конечно, понимает и следует инструкциям заданным в файле robots.txt.

В случае, если вам нужно полностью перекрыть доступ данного бота к вашему сайту, нужно в файл .htaccess добавить следующие строчки кода:

SetEnvIfNoCase User-Agent "YandexBot" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
  

 

Добавить комментарий

Вы можете оставить комментарий авторизовавшись через любую из представленных социальных сетей ниже:

                 


Защитный код
Обновить