Почему Google индексирует страницы, указанные в файле robots.txt

Инженер Google, отвечая на вопрос, заданный вебмастером в Twitter, разъяснил, что поисковый робот умеет индексировать даже те страницы, которые заблокированы в robots.txt. При этом Googlebot четко придерживается установленных в данном файле ограничений и не сканирует содержимое заблокированных разделов.

Первоначально вебмастер попросил пояснить Мюллера, почему в поисковой выдаче отображаются адреса и заголовки страниц ресурса, сканирование которого полностью запрещено в robots.txt. На что Джон ответил, что URL могут индексироваться даже в том случае, если они внесены в этот файл. Для представления заблокированных страниц поисковик использует ссылки. Из них Google формирует заголовки для выдачи.

Другой эксперт отрасли Барри Адамс, участвующий в обсуждении, добавил, что для запрета индексации следует использовать другие средства. Например, заголовки X-Robots-Tag.

Просмотров:

Добавить комментарий