Google: отклоненные URL-адреса не влияют на скорость сканирования вашего сайта

Гэри Илш из Google сделал важное заявление о том, влияют ли отклоненные с помощью Google Disavow URL-адреса на так называемый краулинговый бюджет. Поясним, что под этим термином подразумевается скорость сканирования страниц сайта и их количество, которое хочет просканировать поисковик. Количество называется «краулинговым спросом» и зависит от того, насколько популярны те или иные страницы сайта, а также от актуальности размещенного на них контента.

Так вот – Гэри Илш отметил, что если владелец сайта или SEO-специалист запретил индексацию URL-адресов через robots.txt, то на скорость сканирования и количество страниц на сайте, интересующие поискового робота, это не повлияет. Поясним, что это разъяснение касается работы протокола «User-agent: * Disallow: /» в файле robots.txt, который блокирует ссылки от роботов-сканеров. Это нужно, в том числе и в рамках регулярного аудита ссылочного профиля вашего сайта, какой бы поисковик его не индексировал.

Данный протокол можно использовать для блокировки сканирования всего сайта или для блокировки определенных URL-адресов при обходе сайта поисковым роботом. И если те или иные страницы от него скрыты, то остальная часть сайта все равно просканируется вовремя и с нужной скоростью. Также Илш отметил, что какого-то лимита на скрытие URL-адресов нет и, соответственно, это также не влияет на скорость и качество работы поисковых роботов.

Гэри Илш рассказывает о влиянии отклоненных URL

Специалист также отметил, что у него есть задумка создать на основе этой информации, которая первоначально появилась в его твиттере, официальный мануал справочного центра Google.

Напомним, что недавно специалист отдела поиска Google Джон Мюллер выступил с интересным заявлением, назвав инструмент для отклонения плохих ссылок Google Disavow Tool «пустой тратой времени». По его словам, развитие поисковых систем нацелено на то, чтобы делать их умнее, следовательно, они сами учатся распознавать и игнорировать некачественные ссылки. Тем не менее, использовать инструмент могут те, кто не доверяет поисковику и желает подстраховаться.

Как правильно работать с ключевыми словами в поиске по сайту?
13.06.2019
Google добавил в поиск новую функцию для поиска по времени
19.04.2019
Директ Коммандер обновится в апреле
13.03.2019
ИКС вышел из беты!
22.11.2019
Такси будущего довезёт вас без водителя
13.08.2019
Появились вопросы?

Специалисты компании "Третий Путь" готовы ответить на все ваши вопросы по продвижению сайта, увеличению звонков и заявок на сайте.
Закажи звонок эксперта — мы свяжемся и ответим на все вопросы.

Нажимая кнопку, Вы разрешаете обработку персональных данных и соглашаешься с политикой конфиденциальности.