Файл robots.txt для Joomla

 

Ниже приведен один из примеров файла robots.txt. Его я использую на нескольких сайтах. Подходит для Joomla 2.5 и Joomla 3 со стандартными компонентами и модулями. Некоторые комментарии:

- User-agent: Yandex - блок директив для Яндекса, User-agent: * - для всех остальных роботов. Есть разные мнения по поводу целесообразности использования 2-х блоков. Я придерживаюсь того, что поисковым роботам нравится, когда к ним персонально обращаются.

- Итак, если решили оставить блок с User-agent: Yandex, то необходимо обязательно указать следующую запись Host: site.ru. Где site.ru - это адрес вашего ресурса.

- Disallow: /installation/ - закрывает от индексации папку installation. Хотя после установки Joomla эту папку в целях безопасности рекомендуют удалить, запись в файле robots я всё равно оставляю.

- Следующая запись Disallow: /*% ставит запрет на индексацию кириллических url. Используйте только по необходимости.

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*& 
Disallow: /index2.php
Disallow: /index.php
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*& 
Disallow: /index2.php
Disallow: /index.php