Как правильно составить robots.txt для Wordpress

Как правильно составить robots.txt для Wordpress

Как составить файл Robots.txt для вордпресс

Robots.txt — это файл, который ограничивает доступ поисковым роботам к некоторому содержимому интернет-ресурса.

Ошибка начинающих веб-мастеров- это неправильно составленный robots.txt.Это приводит к тому, что сайт индексируется неправильно. А это в значительной мере влияет на ранжирование сайта.

Благодаря правильно созданному robots.txt поисковые роботы знают, что нужно индексировать, а что нет. Также данный файл нужен для ограничения доступа поисковым роботам к личной или системной информации, которая не должна попасть 3-им лицам.

 

Составление robots.txt для WordPress

Чтобы поисковые роботы не гуляли вдоль и около, составим правильный robots.txt.

Для начала проверьте есть ли данный файл в корневой папке на сервере. Если есть, то нужно его немного подкорректировать.

Иначе сделайте следующее:

1) Скачайте этот архив

2) Распакуйте и закиньте текстовый файл robots.txt в корневую папку на сервер.

P.S. не забудьте изменить ваш_сайт на адрес своего сайта или блога.

Если данный файл уже имеется на сервере, просто подкорректируйте его, заменив все строки на те, которые в файле из архива.

За правильность не беспокойтесь :)

Данный файл составлен в соответствии с современными требованиями и используется на моем блоге, а также на сотни других блогах и сайтах.

Если вы захотите закрыть или открыть доступ к конкретному содержимому сайта, то используйте:

Disallow: — «запретить»

Allow: — «разрешить»

Ну вот и все! Теперь и вы знаете, как правильно составить robots.txt для wordpress! Если у вас нет карты сайты, то обязательно почитайте статью «Создание карты сайта»

 

10 комментариев


  1. Тимур, а в файле robots.txt прописывать свой сайт с «http» или без? Елена.

    Ответить

    1. В строке HOST можно не использовать «http://», а ниже в строках Sitemap с http:..

      Ответить

  2. Тимур, всё отлично, сделала и поместила на хостинг новый robots.txt, теперь буду ждать, что же изменится на сайте. Спасибо, Елена.

    Ответить

  3. Спасибо, Тимур, заменила строки в своем файле robots.txt, отчего-то я сильно в нем сомневалась. Теперь буду спокойна. )

    Ответить

  4. Здравствуйте! У меня появился дубль главной страницы сайта. Одна с index.html а другая без нее. Что мне и как делать в этом случае? Или это не страшно?

    Ответить

    1. Пропишите в robots.txt следующее:

      Disallow: /index.html

      Вообще, это не страшно, но лучше убрать дубль.

      Ответить

  5. Здравствуйте тимур. Кучу форумов обошел, советуют разные robots.txt . Многие поставили, и у них страницы слетели с яндекса… Я боюсь, но знаю что надо!

    скажите это точно, точно правильный robots.txt?

    И еще скажите как сделать, что бы WordPress выдерживал нагрузку в 50,000 уников в день?

    Ответить

    1. Да, это правильный robots.txt. Я используй его на этом блоге и как видите все ок.

      WordPress выдержит и 100 тысяч уников в день, другой вопрос, выдержит ли хост?

      Тут без своего сервера никак…

      Ответить

  6. По Вашему мнению что является приоритетом для Яндекса: указание хоста в файле роботс, либо указание главного зеркала в Яндекс Вебмастер?

    Ответить

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *