Новая ошибка от Яндекса: отсутствие директивы Clean-Param

Количество просмотров: 
Отправим материал Вам на почту
Заполняя любую форму на сайте, вы соглашаетесь с политикой конфиденциальности
08.06.2021

Не так давно большинство владельцев сайтов столкнулись с новой проблемой, которую обнаружил Яндекс – он находит страницы-дубли с GET-параметрами. Бот распознает одинаковый контент, а разницу видит в URL. Поэтому страницы могут хуже индексироваться или вовсе выпадать из выдачи.

страницы-дубли с GET-параметрами

Помимо информации об ошибке в Вебмастере предложено и решение – использование Clean-Param в файле robot.txt. С ее помощью можно ограничить индексацию некоторых страниц, объединить сигналы на одной странице. В результате таких изменений все незначащие ссылки будут исключены из выдачи, и ошибка пропадет.

Что собой представляет и каковы ее функции?

Это директива, которую вносят в корневой файл robot.txt, и используют для обозначения динамических параметров на портале. Именно она указывает, как отреагировать боту на содержимое страничек. Она пояснит поисковому краулеру, что здесь присутствуют динамические GET-параметры, и не позволит тратить краулинговый бюджет. Также она необходима для устранения и игнорирования дублей при сканировании. Работает она только с поисковиком Яндекс.

Рассмотрим на примере, как это работает. Практически все интернет-магазины используют поисковые фильтры. При сортировке создается новый адрес, параметры которого отображаются через знак «?» и разделяются знаком «&». При этом можно выбрать цвет, стиль, бренд, производителя одежды в соответствующей категории.

поисковые фильтры

Сканируя их, краулер определяет, что контент на них полностью или частично совпадает с другими. Тогда бот объединяет их в группу, и решает, что именно вывести в выдачу. Присутствие дублей указывает, что ресурс давно не актуализируется, за ним не следят, поэтому его рейтинг будет низким.

Как настроить?

Для этого скачайте на компьютер robot.txt, откройте его в блокноте или Notepad++. Преимуществом является межсекционность, поэтому ее можно разместить в любом месте.

При перечислении обратите внимание на регистр – он имеет значение. Перечисление происходит через «&», указываются параметры, которые предстоит игнорировать. А во втором поле указывается префикс пути, где будет действовать ограничение.

префикс пути

Если же это ограничение не указывать, то правило будет действовать для всего ресурса.

Clean-Param в файле robot.txt

Далее нужно сохранить документ и проверить его правильность. Для этого можно воспользоваться Анализатором в Вебмастере. Если ошибок нет, можно возвращать файл в корень сайта, если они есть – Анализатор подсветит их, их просто нужно исправить.

Заключение

Clean-Param – директива, позволяющая настроить обработку GET-параметров, сообщающая, что они не являются дублями, и их не нужно учитывать при ранжировании. Если не отрегулировать их, это не позволит эффективно продвигать сайт:

  • будут постоянно генерироваться новые адреса страниц, которые будут считаться повторами;
  • будет расходоваться краулинговый бюджет, которого может потом не хватить на ценные странички.

Используя директиву, можно исключить эти негативные последствия для Яндекса.

Нейросеть Google Imagen создает реалистичные картинки по текстовому описанию
09.06.2022
Дело о «колдунщиках» против Яндекса закрыто
08.06.2022
Замена TeamViewer: предлагаем 19 альтернатив
07.06.2022
Появились вопросы?

Специалисты компании "Третий Путь" готовы ответить на все ваши вопросы по продвижению сайта, увеличению звонков и заявок на сайте.
Закажи звонок эксперта — мы свяжемся и ответим на все вопросы.