Главная » SEO » Как правильно составить robots.txt для WordPress

Как правильно составить robots.txt для WordPress

Добрый день, дорогие читатели блога!

robots.txt

Robots.txt — это файл, который ограничивает доступ поисковым роботам к некоторому содержимому интернет-ресурса.

Ошибка начинающих веб-мастеров- это неправильно составленный robots.txt.Это приводит к тому, что сайт индексируется неправильно. А это в значительной мере влияет на ранжирование сайта.

 

 

Благодаря правильно созданному robots.txt поисковые роботы знают, что нужно индексировать, а что нет. Также данный файл нужен для ограничения доступа поисковым роботам к личной или системной информации, которая не должна попасть 3-им лицам.

 

 

Составление robots.txt для WordPress

robots-txt

Чтобы поисковые роботы не гуляли вдоль и около, составим правильный robots.txt.

Для начала проверьте есть ли данный файл в корневой папке на сервере. Если есть, то нужно его немного подкорректировать.

Иначе сделайте следующее:

1) Скачайте этот архив

2) Распакуйте и закиньте текстовый файл robots.txt в корневую папку на сервер.

P.S. не забудьте изменить ваш_сайт на адрес своего сайта или блога.

Если данный файл уже имеется на сервере, просто подкорректируйте его, заменив все строки на те, которые в файле из архива.

За правильность не беспокойтесь :)

Данный файл составлен в соответствии с современными требованиями и используется на моем блоге, а также на сотни других блогах и сайтах.

Если вы захотите закрыть или открыть доступ к конкретному содержимому сайта, то используйте:

Disallow: — «запретить»

Allow: — «разрешить»

Ну вот и все! Теперь и вы знаете, как правильно составить robots.txt для wordpress! Если у вас нет карты сайты, то обязательно почитайте статью «Создание карты сайта»

 

10 thoughts on “Как правильно составить robots.txt для WordPress

  • Сентябрь 27, 2012 at 8:19 пп
    Permalink

    Тимур, а в файле robots.txt прописывать свой сайт с «http» или без? Елена.

    Reply
    • Сентябрь 28, 2012 at 12:00 пп
      Permalink

      В строке HOST можно не использовать «http://», а ниже в строках Sitemap с http:..

      Reply
  • Сентябрь 28, 2012 at 3:17 пп
    Permalink

    Тимур, всё отлично, сделала и поместила на хостинг новый robots.txt, теперь буду ждать, что же изменится на сайте. Спасибо, Елена.

    Reply
  • Ноябрь 14, 2012 at 8:59 пп
    Permalink

    Спасибо, Тимур, заменила строки в своем файле robots.txt, отчего-то я сильно в нем сомневалась. Теперь буду спокойна. )

    Reply
  • Январь 8, 2013 at 10:59 пп
    Permalink

    Здравствуйте! У меня появился дубль главной страницы сайта. Одна с index.html а другая без нее. Что мне и как делать в этом случае? Или это не страшно?

    Reply
    • Январь 9, 2013 at 6:15 дп
      Permalink

      Пропишите в robots.txt следующее:

      Disallow: /index.html

      Вообще, это не страшно, но лучше убрать дубль.

      Reply
  • Январь 15, 2013 at 5:15 пп
    Permalink

    Здравствуйте тимур. Кучу форумов обошел, советуют разные robots.txt . Многие поставили, и у них страницы слетели с яндекса… Я боюсь, но знаю что надо!

    скажите это точно, точно правильный robots.txt?

    И еще скажите как сделать, что бы WordPress выдерживал нагрузку в 50,000 уников в день?

    Reply
    • Январь 15, 2013 at 5:59 пп
      Permalink

      Да, это правильный robots.txt. Я используй его на этом блоге и как видите все ок.

      WordPress выдержит и 100 тысяч уников в день, другой вопрос, выдержит ли хост?

      Тут без своего сервера никак…

      Reply
  • Февраль 16, 2013 at 9:09 пп
    Permalink

    По Вашему мнению что является приоритетом для Яндекса: указание хоста в файле роботс, либо указание главного зеркала в Яндекс Вебмастер?

    Reply
    • Февраль 17, 2013 at 9:27 дп
      Permalink

      Указание хоста в файле Robots.txt

      Reply

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *