Как составить файл Robots.txt для вордпресс
Robots.txt — это файл, который ограничивает доступ поисковым роботам к некоторому содержимому интернет-ресурса.
Ошибка начинающих веб-мастеров- это неправильно составленный robots.txt.Это приводит к тому, что сайт индексируется неправильно. А это в значительной мере влияет на ранжирование сайта.
Благодаря правильно созданному robots.txt поисковые роботы знают, что нужно индексировать, а что нет. Также данный файл нужен для ограничения доступа поисковым роботам к личной или системной информации, которая не должна попасть 3-им лицам.
Составление robots.txt для WordPress
Чтобы поисковые роботы не гуляли вдоль и около, составим правильный robots.txt.
Для начала проверьте есть ли данный файл в корневой папке на сервере. Если есть, то нужно его немного подкорректировать.
Иначе сделайте следующее:
1) Скачайте этот архив
2) Распакуйте и закиньте текстовый файл robots.txt в корневую папку на сервер.
P.S. не забудьте изменить ваш_сайт на адрес своего сайта или блога.
Если данный файл уже имеется на сервере, просто подкорректируйте его, заменив все строки на те, которые в файле из архива.
За правильность не беспокойтесь :)
Данный файл составлен в соответствии с современными требованиями и используется на моем блоге, а также на сотни других блогах и сайтах.
Если вы захотите закрыть или открыть доступ к конкретному содержимому сайта, то используйте:
Disallow: — «запретить»
Allow: — «разрешить»
Ну вот и все! Теперь и вы знаете, как правильно составить robots.txt для wordpress! Если у вас нет карты сайты, то обязательно почитайте статью «Создание карты сайта»
Тимур, а в файле robots.txt прописывать свой сайт с «http» или без? Елена.
В строке HOST можно не использовать «http://», а ниже в строках Sitemap с http:..
Тимур, всё отлично, сделала и поместила на хостинг новый robots.txt, теперь буду ждать, что же изменится на сайте. Спасибо, Елена.
Спасибо, Тимур, заменила строки в своем файле robots.txt, отчего-то я сильно в нем сомневалась. Теперь буду спокойна. )
Здравствуйте! У меня появился дубль главной страницы сайта. Одна с index.html а другая без нее. Что мне и как делать в этом случае? Или это не страшно?
Пропишите в robots.txt следующее:
Disallow: /index.html
Вообще, это не страшно, но лучше убрать дубль.
Здравствуйте тимур. Кучу форумов обошел, советуют разные robots.txt . Многие поставили, и у них страницы слетели с яндекса… Я боюсь, но знаю что надо!
скажите это точно, точно правильный robots.txt?
И еще скажите как сделать, что бы WordPress выдерживал нагрузку в 50,000 уников в день?
Да, это правильный robots.txt. Я используй его на этом блоге и как видите все ок.
WordPress выдержит и 100 тысяч уников в день, другой вопрос, выдержит ли хост?
Тут без своего сервера никак…
По Вашему мнению что является приоритетом для Яндекса: указание хоста в файле роботс, либо указание главного зеркала в Яндекс Вебмастер?
Указание хоста в файле Robots.txt