Новая ошибка от Яндекса: отсутствие директивы Clean-Param

Не так давно большинство владельцев сайтов столкнулись с новой проблемой, которую обнаружил Яндекс – он находит страницы-дубли с GET-параметрами. Бот распознает одинаковый контент, а разницу видит в URL. Поэтому страницы могут хуже индексироваться или вовсе выпадать из выдачи.

Помимо информации об ошибке в Вебмастере предложено и решение – использование Clean-Param в файле robot.txt. С ее помощью можно ограничить индексацию некоторых страниц, объединить сигналы на одной странице. В результате таких изменений все незначащие ссылки будут исключены из выдачи, и ошибка пропадет.

Что собой представляет и каковы ее функции?

Это директива, которую вносят в корневой файл robot.txt, и используют для обозначения динамических параметров на портале. Именно она указывает, как отреагировать боту на содержимое страничек. Она пояснит поисковому краулеру, что здесь присутствуют динамические GET-параметры, и не позволит тратить краулинговый бюджет. Также она необходима для устранения и игнорирования дублей при сканировании. Работает она только с поисковиком Яндекс.

Рассмотрим на примере, как это работает. Практически все интернет-магазины используют поисковые фильтры. При сортировке создается новый адрес, параметры которого отображаются через знак «?» и разделяются знаком «&». При этом можно выбрать цвет, стиль, бренд, производителя одежды в соответствующей категории.

Сканируя их, краулер определяет, что контент на них полностью или частично совпадает с другими. Тогда бот объединяет их в группу, и решает, что именно вывести в выдачу. Присутствие дублей указывает, что ресурс давно не актуализируется, за ним не следят, поэтому его рейтинг будет низким.

Как настроить?

Для этого скачайте на компьютер robot.txt, откройте его в блокноте или Notepad++. Преимуществом является межсекционность, поэтому ее можно разместить в любом месте.

При перечислении обратите внимание на регистр – он имеет значение. Перечисление происходит через «&», указываются параметры, которые предстоит игнорировать. А во втором поле указывается префикс пути, где будет действовать ограничение.

Если же это ограничение не указывать, то правило будет действовать для всего ресурса.

Далее нужно сохранить документ и проверить его правильность. Для этого можно воспользоваться Анализатором в Вебмастере. Если ошибок нет, можно возвращать файл в корень сайта, если они есть – Анализатор подсветит их, их просто нужно исправить.

Заключение

Clean-Param – директива, позволяющая настроить обработку GET-параметров, сообщающая, что они не являются дублями, и их не нужно учитывать при ранжировании. Если не отрегулировать их, это не позволит эффективно продвигать сайт:

• будут постоянно генерироваться новые адреса страниц, которые будут считаться повторами;
• будет расходоваться краулинговый бюджет, которого может потом не хватить на ценные странички.

Используя директиву, можно исключить эти негативные последствия для Яндекса.