Главная » SEO » Как правильно составить robots.txt для WordPress

Как правильно составить robots.txt для Wordpress

Опубликовано admin в

Как составить файл Robots.txt для вордпресс

Robots.txt — это файл, который ограничивает доступ поисковым роботам к некоторому содержимому интернет-ресурса.

Ошибка начинающих веб-мастеров- это неправильно составленный robots.txt.Это приводит к тому, что сайт индексируется неправильно. А это в значительной мере влияет на ранжирование сайта.

Благодаря правильно созданному robots.txt поисковые роботы знают, что нужно индексировать, а что нет. Также данный файл нужен для ограничения доступа поисковым роботам к личной или системной информации, которая не должна попасть 3-им лицам.

 

Составление robots.txt для WordPress

Чтобы поисковые роботы не гуляли вдоль и около, составим правильный robots.txt.

Для начала проверьте есть ли данный файл в корневой папке на сервере. Если есть, то нужно его немного подкорректировать.

Иначе сделайте следующее:

1) Скачайте этот архив

2) Распакуйте и закиньте текстовый файл robots.txt в корневую папку на сервер.

P.S. не забудьте изменить ваш_сайт на адрес своего сайта или блога.

Если данный файл уже имеется на сервере, просто подкорректируйте его, заменив все строки на те, которые в файле из архива.

За правильность не беспокойтесь :)

Данный файл составлен в соответствии с современными требованиями и используется на моем блоге, а также на сотни других блогах и сайтах.

Если вы захотите закрыть или открыть доступ к конкретному содержимому сайта, то используйте:

Disallow: — «запретить»

Allow: — «разрешить»

Ну вот и все! Теперь и вы знаете, как правильно составить robots.txt для wordpress! Если у вас нет карты сайты, то обязательно почитайте статью «Создание карты сайта»

 

5 (100%) 1 vote

10 комментариев

елена · Сентябрь 27, 2012 в 8:19 пп

Тимур, а в файле robots.txt прописывать свой сайт с «http» или без? Елена.

    admin · Сентябрь 28, 2012 в 12:00 пп

    В строке HOST можно не использовать «http://», а ниже в строках Sitemap с http:..

елена · Сентябрь 28, 2012 в 3:17 пп

Тимур, всё отлично, сделала и поместила на хостинг новый robots.txt, теперь буду ждать, что же изменится на сайте. Спасибо, Елена.

Светлана · Ноябрь 14, 2012 в 8:59 пп

Спасибо, Тимур, заменила строки в своем файле robots.txt, отчего-то я сильно в нем сомневалась. Теперь буду спокойна. )

Виталий · Январь 8, 2013 в 10:59 пп

Здравствуйте! У меня появился дубль главной страницы сайта. Одна с index.html а другая без нее. Что мне и как делать в этом случае? Или это не страшно?

    admin · Январь 9, 2013 в 6:15 дп

    Пропишите в robots.txt следующее:

    Disallow: /index.html

    Вообще, это не страшно, но лучше убрать дубль.

бэн · Январь 15, 2013 в 5:15 пп

Здравствуйте тимур. Кучу форумов обошел, советуют разные robots.txt . Многие поставили, и у них страницы слетели с яндекса… Я боюсь, но знаю что надо!

скажите это точно, точно правильный robots.txt?

И еще скажите как сделать, что бы WordPress выдерживал нагрузку в 50,000 уников в день?

    admin · Январь 15, 2013 в 5:59 пп

    Да, это правильный robots.txt. Я используй его на этом блоге и как видите все ок.

    WordPress выдержит и 100 тысяч уников в день, другой вопрос, выдержит ли хост?

    Тут без своего сервера никак…

Евгений · Февраль 16, 2013 в 9:09 пп

По Вашему мнению что является приоритетом для Яндекса: указание хоста в файле роботс, либо указание главного зеркала в Яндекс Вебмастер?

    admin · Февраль 17, 2013 в 9:27 дп

    Указание хоста в файле Robots.txt

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.