Джон Мюллер об определении релевантности закрытых в robots.txt веб-страниц

Джон Мюллер об определении релевантности закрытых в robots.txt веб-страниц

Отвечая на вопросы вебмастеров, Джон Мюллер рассказал, как Google оценивает релевантность контента веб-страниц, сканирование которых запрещено в robots.txt.

Ранее Джон упоминал, что Googlebot может индексировать подобные страницы только в том случае, если на них ссылаются другие публикации. Но как поисковик может оценивать релевантность заблокированных страниц запросу, введенному пользователю?

Мюллер отметил, что контент закрытых в robots.txt публикаций не доступен для сканирования. Поэтому чтобы определить релевантность такой веб-страницы, Googlebot опирается на результаты анализа доноров, которые ссылаются на нее.

Но заблокированный в robots.txt контент крайне редко попадают в поисковую выдачу. При ее формировании Google отдает предпочтение открытым для индексирования источникам.

Джон Мюллер об определении релевантности закрытых в robots.txt веб-страниц

JavaScript. Быстрый старт

Изучите основы JavaScript на практическом примере по созданию веб-приложения

Просмотров:

Добавить комментарий