Теперь настроим файл Robots.txt
Данный файл указывает роботам какие страницы следует индексировать, а какие исключить. Как правило, исключать нужно все дублирующие страницы. Например, когда мы пишем статью, мы определяем для нее несколько меток, раздел. Таким образом статья дублируется - а это считается плохо для поисковиков.
Вы не раз, наверное, замечали, что статей на сайте, например, 100, а в поисковых системах каким-то образом их 200 или 300. Это значит, что роботы проиндексировали копии страниц. Вот Robot.txt и делает для нас хорошую работу — мы один раз настроим его, а он будет постоянно говорить поисковым роботам что не следует индексировать.
Также нужно исключить из индексации плагины, темы, административную часть — это в дополнение даст дополнительную защиту блога. Так как через эти страницы кто-нибудь может подобраться к сайту и взломать его. О защите блога подробнее мы говорили здесь и здесь , читайте — это важно!
Чтобы увидеть, есть ли на вашем сайте такой файл, в строку браузера вводим следующее: http://ваш домен/robots.txt
Как правило, страница имеет вот такой вид:
Это значит, что файл robots.txt не настроен. Проще всего для вас сейчас будет скопировать и вставить стандартный код этого файла. А потом, по мере того, как вы будете более полно знать обо всех ньюансах, сможете подредактировать его под себя.
Например, Disallow: — обозначает запрещение к индексации, и по незнанию, можно настроить так, что запретим свои страницы к индексации. Выкладываю вам свой файл. Надеюсь он правильный, ведь мои страницы индексируются уже через 5 минут после того, как я опубликую статью. Внимание! внизу 3 раза нужно заменить адрес сайта на свой:
User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/themes Disallow: /wp-content/plugins Disallow: /wp-content/languages Disallow: /wp-content/cache Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/themes Disallow: /wp-content/plugins Disallow: /wp-content/languages Disallow: /wp-content/cache Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments Host: zarabotay-mnogo.ru Sitemap: http://zarabotay-mnogo.ru/sitemap.xml.gz Sitemap: http://zarabotay-mnogo.ru/sitemap.xml
Скопируйте код, откройте блокнот, вставьте код и сохраните файл как robots. Окончание .txt само появится