Специальный робот поисковой системы, отыскивающий зеркала сайтов и склеивающий их с оригиналами. Обходит сайты с разной периодичностью – от 2 недель до 4 месяцев. Чтобы робот правильно определил «главное» зеркало, в специальном файле robots.txt нужно указать нужный адрес
Оставить заявку