Удаляем

В общем на одном сайте установлен бесплатный адаптивный шаблон JA Elastica. Он полностью устраивает своими возможностями, но в процессе индексации поисковыми системами в списке доступных страниц в поиске были найдены загадочные страницы с окончанием в виде "?layout=". Прошерстив исходный код шаблона стало ясно, что данные окончания появляются из-за адаптивных возможностей шаблона, так как он всегда готов подстроится под изменение размеров экрана или устройства. Ну и получается, что у одной страницы то появлялось, то пропадало несколько дублей. А дубли это не есть хорошо - поэтому решил запретить индексацию страниц поисковыми роботами. И это принесло свои плоды.

Чтобы запретить индексацию страниц в моем случае нужно было чуток подредактировать файл robots.txt. А именно добавить в конец строку

Disallow: /*layout=*

Что указывает роботам, что страницу, которая содержит в себе такое выражение индексировать не нужно. Через неделю уже начал появляться эффект, из индекса стали выпадать дубли, оставив только оригинальные красивые ссылки.

Удаляем

Кстати, в панели Яндекс.Вебмастера есть хороший инструмент под названием Анализ robots.txt. Запрещаете какое-нибудь регулярное выражение и проверяйте, какие страницы выпадут, и останутся ли нужные. 

 

Добавить комментарий