Google: отклоненные URL-адреса не влияют на скорость сканирования вашего сайта

Гэри Илш из Google сделал важное заявление о том, влияют ли отклоненные с помощью Google Disavow URL-адреса на так называемый краулинговый бюджет. Поясним, что под этим термином подразумевается скорость сканирования страниц сайта и их количество, которое хочет просканировать поисковик. Количество называется «краулинговым спросом» и зависит от того, насколько популярны те или иные страницы сайта, а также от актуальности размещенного на них контента.

Так вот – Гэри Илш отметил, что если владелец сайта или SEO-специалист запретил индексацию URL-адресов через robots.txt, то на скорость сканирования и количество страниц на сайте, интересующие поискового робота, это не повлияет. Поясним, что это разъяснение касается работы протокола «User-agent: * Disallow: /» в файле robots.txt, который блокирует ссылки от роботов-сканеров. Это нужно, в том числе и в рамках регулярного аудита ссылочного профиля вашего сайта, какой бы поисковик его не индексировал.

Данный протокол можно использовать для блокировки сканирования всего сайта или для блокировки определенных URL-адресов при обходе сайта поисковым роботом. И если те или иные страницы от него скрыты, то остальная часть сайта все равно просканируется вовремя и с нужной скоростью. Также Илш отметил, что какого-то лимита на скрытие URL-адресов нет и, соответственно, это также не влияет на скорость и качество работы поисковых роботов.

Специалист также отметил, что у него есть задумка создать на основе этой информации, которая первоначально появилась в его твиттере, официальный мануал справочного центра Google.

Напомним, что недавно специалист отдела поиска Google Джон Мюллер выступил с интересным заявлением, назвав инструмент для отклонения плохих ссылок Google Disavow Tool «пустой тратой времени». По его словам, развитие поисковых систем нацелено на то, чтобы делать их умнее, следовательно, они сами учатся распознавать и игнорировать некачественные ссылки. Тем не менее, использовать инструмент могут те, кто не доверяет поисковику и желает подстраховаться.