Правильный robots.txt для WordPress

Еще одну статью на эту тему читайте здесь.

Файл robots.txt - это служебный файл, который подсказывает поисковому роботу, какие разделы сайта индексировать, а какие нет. Определяет основное зеркало сайта, указывает путь к карте сайта sitemap.xml и вообще, наличие этого файла - признак любого уважающего себя сайта.
Не будем вдаваться в технические подробности, просто создадим в блокноте файл, обзовем его robots.txt и запишем туда следующее:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yourdomain.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: http://yourdomain.ru/sitemap.xml

Естественно, вместо yourdomain.ru - адрес Вашего сайта. Сохраняем файл и копируем его в корневую папку блога. Более подробную информацию о robots.txt вы можете узнать на сайте http://robotstxt.org.ru/

Рубрика: Настройка WordPress | 13 марта 2009

Предыдущие записи из рубрики `Настройка WordPress`

63 комментария

Эдуард, 10.11.2013 в 23:03

Друзья, может ли кто-нибудь подсказать: почему после размещения Robot.txt в поисковиках перестало отражаться Description? А в Гугле появляется такая запись: Описание веб-страницы недоступно из-за ограничений в файле robots.txt.
Яндекс вместо описания записи подтягивает текст из содержания поста.
Какие параметры в Robot.txt могут на это влиять?

ОтветитьОтветить
kama, 05.12.2013 в 08:07

Robots.txt может только ограничить индексацию страницы. А описание это наверное имеется ввиду именно индексация. Странное сообщение, первый раз такое вижу.

ОтветитьОтветить
Victor, 24.03.2014 в 08:20

а как прописать последнюю строчку с именем сайта, если у тебя двуязычный с помощью плагина qTranslator? т.е. у меня два адреса вида http://yourdomain.com
и
http://yourdomain.com/ru/sitemap
спасибо

ОтветитьОтветить

Комментировать