Правильный файл robots.txt для WordPress блога | Как создать свой сайт

Как создать правильный файл robots.txt для WordPress блога

Ноя-17-2010 Автор: VeryOldMan

Итак, как создать правильный файл robots.txt для WordPress блога или сайта. Да, есть и такой файл.  Его назначение – закрывать от индексации поисковыми системами определенные файлы и каталоги сайта. А так как сама индексация сайта и его страниц поисковыми системами вещь весьма темная и неоднозначная, то и о важности наличия файла robots.txt в сайтах споры идут непрерывно. В том числе и о том,  нужен ли файл robots.txt для WordPress блогов или сайтов. Причем, впрочем как всегда, мнения высказываются диаметрально противоположные.

Одни говорят, что файл robots.txt для WordPress просто необходим, так как поисковый робот, обращаясь к сайту, в первую очередь запрашивает именно этот файл. И если его не найдет, то просто не будет индексировать страницы сайта. Поэтому если Вы создаете свой сайт с расчетом на индексацию его поисковыми системами, то делайте вывод сами.

Однако есть и мнение, что файл robots.txt на индексацию страниц сайта поисковыми системами никакого влияния не оказывает. И приводят примеры сайтов без файла robots.txt, которые прекрасно индексируются и входят в топ выдачи как Яндекса так и Гугла. При этом замечая, что нужно больше обращать внимания на оптимизацию сайта под поисковые системы, правильно подбирать ключевые слова и больше внимания уделять содержанию сайта. Совет, в общем-то, правильный. Но что мешает сделать правильный файл robots.txt  и поставить его на сайт или блог, тем самым решив вопрос — нужен он или нет? Даже если Вы считаете, что Вам нечего скрывать на Вашем сайте от поисковых систем, создайте пустой файл.

Так что же представляет собой правильный файл robots.txt для WordPress блога или сайта? Это обычный текстовый файл, который должен находиться в корневой директории сайта, так как роботы поисковых систем ищут его только в корневом каталоге. Поэтому размещать его в подкаталогах бессмысленно. Исходя из вышесказанного, делаем вывод:

  • всю информацию о запретах на индексирование подкаталогов сайта нужно собрать в едином файле robots.txt
  • файл этот должен находиться в «корне» сайта

Как создать правильный robots.txt файл для WordPress,  да и не только для этого движка ? В Блокноте Widows. Если Вы создаете пустой файл – просто сохраните его с именем robots, набранным маленькими буквами. Если же Вы хотите закрыть какие-либо файлы или папки на Вашем сайте от индексации поисковыми системами, то придется немного поработать над текстом файла или найти готовый в Интернете. Хотите поработать? Тогда Вам нужно ВОТ СЮДА.

Зачем WordPress блогу этот файл и что там скрывать от поисковых роботов? А Вы видели, сколько в движке папок и файлов со скриптами, системными файлами и.т.д.? В идеале, поисковая система должна индексировать только страницы Вашего блога, согласны? Значит, все остальное должно быть закрыто от индексации с целью предотвращения дублирования контента, выдачи поисковиками ошибок, индексации несуществующих страниц ну так далее.

Как нам создать robots.txt Есть два варианта – сделать самому или найти в Интернете. Второй вариант естественно намного проще, да и вариантов правильного файла  Вам предложат очень много. И у каждого будет «самый лучший». Что я Вам могу предложить. В свое время я взял готовый robots.txt на сайте Кактуса (Установка WordPress на локальный хостинг DENWER ) когда скачал оттуда же движокWordPress. И не жалею. Пока все в порядке. Тем более, это файл рекомендуемый авторами WordPress. Вот он:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
 
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
 
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
 
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
 
# digg mirror
User-agent: duggmirror
Disallow: /
 
Sitemap: http://www.askapache.com/sitemap.xml

Скопируйте его в Блокнот Windows и сохраните под именем robots. В последней строке текста поставьте адрес своего сайта. И все. Закачайте его на Ваш сайт в корневой каталог.

Если сомневаетесь, что сделали все как надо, и что в результате получили именно правильный  файл robots.txt для WordPress, как впрочем и любого другого движка, то это можно легко проверить. Поисковые системы позволяют и рекомендуют это делать.  Например, в Яндексе.  Здесь просто нужно указать адрес Вашего сайта, щелкнуть Загрузить robots.txt с сайта и щелкнуть — Проверить. Если есть ошибки – Яндекс Вам их покажет.






9 комментариев
  1. fox Пишет,

    Скачаю и установлю себе. Спасибо.

  2. TAG Пишет,

    Некорректный формат URL файла Sitemap

    Тоже самое пишет, в чем проблем ?

  3. Артём Пишет,

    Скажите, пожалуйста, а где корень сайта?

  4. VeryOldMan Пишет,

    Папка хостинга, в которой находится сайт

  5. Артём Пишет,

    А с Денвера псевдо сай индексируется?

  6. Людмила Пишет,

    Добрый день! Проверяла robots через яндекс веб мастер у меня показало ошибки. Что это значит и как исправить? 1. user agent обнаружена неизвестная директива, 2: Disallow: /wp-login.php перед правилом нет директивы User-agent

  7. VeryOldMan Пишет,

    В самом начале файла вставьте строку:

    User-agent: *

  8. Роман Пишет,

    Людмила, скачайте свой robots.txt на компьютер, откройте не в обычном блокноте а в Notepad++ верхнем меню «Кодировки» выберите пункт «Кодировать в UTF-8 (без BOM)», сохраните и залейте обратно в корень сайта. Проверьте в яндекс анализе robots.txt, всё должно быть хорошо. По крайней мере мне помогло.

  9. Andrey Пишет,

    Спасибо, всё работает.

Добавить комментарий