Как правильно составить robots.txt для WordPress

Рубрика: SEO. Автор: admin. Среда 26 Сен 2012 в 1:41 пп

Добрый день, дорогие читатели блога!

robots.txt

Robots.txt — это файл, который ограничивает доступ поисковым роботам к некоторому содержимому интернет-ресурса.

Ошибка начинающих веб-мастеров- это неправильно составленный robots.txt.Это приводит к тому, что сайт индексируется неправильно. А это в значительной мере влияет на ранжирование сайта.

 

 

Благодаря правильно созданному robots.txt поисковые роботы знают, что нужно индексировать, а что нет. Также данный файл нужен для ограничения доступа поисковым роботам к личной или системной информации, которая не должна попасть 3-им лицам.

 

 

Составление robots.txt для WordPress

robots-txt

Чтобы поисковые роботы не гуляли вдоль и около, составим правильный robots.txt.

Для начала проверьте есть ли данный файл в корневой папке на сервере. Если есть, то нужно его немного подкорректировать.

Иначе сделайте следующее:

1) Скачайте этот архив

2) Распакуйте и закиньте текстовый файл robots.txt в корневую папку на сервер.

P.S. не забудьте изменить ваш_сайт на адрес своего сайта или блога.

Если данный файл уже имеется на сервере, просто подкорректируйте его, заменив все строки на те, которые в файле из архива.

За правильность не беспокойтесь :)

Данный файл составлен в соответствии с современными требованиями и используется на моем блоге, а также на сотни других блогах и сайтах.

Если вы захотите закрыть или открыть доступ к конкретному содержимому сайта, то используйте:

Disallow: — «запретить»

Allow: — «разрешить»

Ну вот и все! Теперь и вы знаете, как правильно составить robots.txt для wordpress! Если у вас нет карты сайты, то обязательно почитайте статью «Создание карты сайта»

 


комментариев 10 »

  1. Отзыв от елена — Сентябрь 27, 2012 в 8:19 пп

    Тимур, а в файле robots.txt прописывать свой сайт с «http» или без? Елена.

  2. Отзыв от admin — Сентябрь 28, 2012 в 12:00 пп

    В строке HOST можно не использовать «http://», а ниже в строках Sitemap с http:..

  3. Отзыв от елена — Сентябрь 28, 2012 в 3:17 пп

    Тимур, всё отлично, сделала и поместила на хостинг новый robots.txt, теперь буду ждать, что же изменится на сайте. Спасибо, Елена.

  4. Отзыв от Светлана — Ноябрь 14, 2012 в 8:59 пп

    Спасибо, Тимур, заменила строки в своем файле robots.txt, отчего-то я сильно в нем сомневалась. Теперь буду спокойна. )

  5. Отзыв от Виталий — Январь 8, 2013 в 10:59 пп

    Здравствуйте! У меня появился дубль главной страницы сайта. Одна с index.html а другая без нее. Что мне и как делать в этом случае? Или это не страшно?

  6. Отзыв от admin — Январь 9, 2013 в 6:15 дп

    Пропишите в robots.txt следующее:

    Disallow: /index.html

    Вообще, это не страшно, но лучше убрать дубль.

  7. Отзыв от бэн — Январь 15, 2013 в 5:15 пп

    Здравствуйте тимур. Кучу форумов обошел, советуют разные robots.txt . Многие поставили, и у них страницы слетели с яндекса… Я боюсь, но знаю что надо!

    скажите это точно, точно правильный robots.txt?

    И еще скажите как сделать, что бы WordPress выдерживал нагрузку в 50,000 уников в день?

  8. Отзыв от admin — Январь 15, 2013 в 5:59 пп

    Да, это правильный robots.txt. Я используй его на этом блоге и как видите все ок.

    WordPress выдержит и 100 тысяч уников в день, другой вопрос, выдержит ли хост?

    Тут без своего сервера никак…

  9. Отзыв от Евгений — Февраль 16, 2013 в 9:09 пп

    По Вашему мнению что является приоритетом для Яндекса: указание хоста в файле роботс, либо указание главного зеркала в Яндекс Вебмастер?

  10. Отзыв от admin — Февраль 17, 2013 в 9:27 дп

    Указание хоста в файле Robots.txt

RSS-лента комментариев. Адрес для трекбека

Ваш отзыв





Copyright © 2013-2016 BloogIT — твой интернет-гид.