Серверная аутентификация – лучший способ блокировки сканирования сайта

Серверная аутентификация – лучший способ блокировки сканирования сайта

Общаясь с вебмастерами, Джон Мюллер рассказал, как лучше всего блокировать доступ GoogleBot к тестовой версии сайта. Он отметил, что это можно реализовать несколькими способами. Традиционно для этого используется файл robot. txt, через директивы которого краулеру запрещается сканирование.

Но лучше всего для этого применять аутентификацию на стороне сервера, где размещается тестируемая площадка. Идентификацию можно осуществлять на основе IP-адресов, cookies. А также обычной авторизации.

Также Мюллер отметил, что использование блокировки файла robot.txt не столь эффективно. Поскольку GoogleBot может попадать на тестовый сайт через внешние страницы, ссылающиеся на него.

Просмотров:

Добавить комментарий