Правильный robots.txt для WordPress

Здравствуйте дорогие друзья, что-то я давно не писал в блог, просто у меня была неделя отдыха и я целую неделю ничего не делал в плане сайтов. Но сегодня я наконец-то добрался до своего рабочего компьютера и занялся делами. Да ладно, хватит лишнего текста, дальше по делу о robots.txt для WordPress.

Для тех, кто еще не знает robots.txt это простой текстовый файл, который служит указанием для роботов поисковых систем. Этот файл указывает роботу, какие файлы и директории можно индексировать, а какие нет. Так же можно указать главное зеркало сайт и наличие sitemap.xml.  Хочу наполнить, что  robots.txt для разных CMS не одинаковый, то есть  robots.txt от  WordPress не подходит для Joomla, но это я думаю понятно. 

Я всегда, когда создаю сайт или блог на WordPress чуть ли не первым делом делаю robots.txt. Ведь его отсутствие может привести к плохим последствиям, поисковые системы, такие как вредный Яндекс могут на ваш блог наложить фильтр за дублированный контент, сейчас такие случаи не редкость. И еще ходят в интернете слухи, что роботы поисковых систем не смотрят на файл robots.txt и индексируют все подряд. Но я думаю, что это не так и  robots.txt в любом случае нужен. Разве что Google кушает все подряд, мне так кажется:)

Для того, что бы сделать на вашем блоге  robots.txt нужно создать текстовый файл с названием  robots.txt, поместить в него код, который указан ниже и забросить этот файл в корень Вашего блога.

User-agent: YandexBlog
Disallow:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Host: ваш сайт.ru
Sitemap: http://ваш сайт.ru/sitemap.xml

Я использую именно такой  robots.txt, можете проверить набрав http://seozwer.com/robots.txt. Вроде все, если появились какие-то вопросы, тогда задавайте их в комментариях, с радостью отвечу.