В продолжение темы о моем любимом на данный момент движке DataLife Engine. Я представлю вашему вниманию robots.txt, который использую в своих сайтах на этой CMS.
Вы наверняка задавались вопросом, как правильно создать этот текстовый файл? Если поискать вы также встретите многочисленное количество разнообразных версий, я попытался найти золотую середину.
Что даёт правильный в robot.txt для DLE:
- Хорошую индексацию поисковиками нужных вам страниц.
- Блокировку ненужных страниц для индексации (вы закроете доступ поисковикам для тех страниц — которые не должны появляться в поисковике)
- Можно создавать зеркала (для Yandex)
- Решает проблему дублирования контента на сайте.
Этих доводов наверняка хватает, чтобы отнестись к заполнению робота серьезно.
Вот, собственно, содержание.
Содержание Robot.txt для DLE
User-Agent: * Disallow: /*print Disallow: /out/ Disallow: /user/ Disallow: /cache/ Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /images/ Disallow: /forum/ Disallow: /backup/ Disallow: /files/ Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=stats Disallow: /index.php?do=addnews Disallow: /index.php?subaction=newposts Sitemap: http://вашсайт.ru/uploads/sitemap.xml Host: вашсайт.ru
Убираем страницы без контента, не нужно чтобы поисковый робот тратил на них время.
Disallow — исключить.