Файл Robots.txt и его влияние на продвижение сайта в интернете
Файл robots.txt – основной компонент для настройки индексирования Вашего сайта. Для качественного SEO продвижения сайта необходима правильная настройка данного файла. Как правило, с проверки файла robots.txt начинается SEO аудит сайта и мероприятия по продвижению в поисковой выдаче.Что же представляет собой файл robots и как его настройка может повлиять на продвижение в интернете. В своем обзоре я поделюсь своим мнением о влиянии данного компонента на SEO продвижение и поделюсь собственным опытом настройки.
Для чего нужен файл Robots.txt
Тот, кто хоть раз задавался вопросом продвижения сайта в интернете, прекрасно знает, что большую роль играет открытость для индексирования поисковыми роботами. Файл Robots как раз задает эту открытость. С помощью него мы можем открыть для индексирования отдельные файлы или закрыть сайт от посещения. Несущественные, на первый взгляд пункты, на деле могут обернуться очень большими проблемами. Данные проблемы легко решаются настройкой файла Robots.txt, который помогает сохраняться конфиденциальные данные сайта и открывать поисковым роботам нужные документы.
Файл Robots.txt состоит из отдельных правил – параметров, которые указывают поисковым роботам какие файлы можно сканировать, а какие – нельзя. Обычно, указываются правила на запрет индексации, и те файлы, которые не запрещены, индексируются поисковыми роботами. Для России актуальны 4 поисковых робота:
- Googlebot или Google
- Yandex или YandexBot
- BingBot
Технология работы Robots предельно проста. Называя отдельного робота, или всех сразу ( обозначение «*» ) мы прописываем правила, по которым каждый робот сканирует наш сайт. Если требуется запретить индексацию, то мы ставим команду «Disallow», если индексация разрешается – то команду «allow». По умолчанию, если в Robots.txt нет запрета на индексацию, то поисковый робот сканирует весь сайт. Хорошо это или плохо – решает каждый вебмастер, в зависимости от характера своего сайта.
Как robots.txt влияет на SEO продвижение сайта
Помимо разрешения и запрета на индексацию в файле robots.txt указывают путь к карте сайта (sitemap) и главное зеркало сайта (данное правило потеряло актуальность в июне 2018 года). Если Вы не указали данные параметры в файл robots, желательно указать путь к ним в панели вебмастера Google и Яндекс. Указав путь, Вы можете создать предельно простой файл robots, с небольшим количеством правил. Для каждой CMS рекомендуются отдельные наборы правил, которые зависят от структуры сайта.
Например, для сайта WordPress, рекомендуется скрывать технические папки и разделы: Feed, trackback, comments, tag и другие. Попадание в индекс данных разделов не принесет какого либо трафика, однако может повлиять на определение страниц как дублей. Это один из самых простых способов борьбы с дублями страниц на сайте. Все что требуется – это указать URL страниц, через которые основная продвигаемая страница определяется как дубль. Кроме этого, Вы можете настроить продвижение в поисковых системах конкретной страницы. Данное действие требуется в том случае, если в поисковой выдаче появилось несколько страниц по одному запросу. Сделать это достаточно просто.
Например, по запросу «Как влияет файл Robots.txt на SEO» в поисковой выдаче появилось несколько страниц моего сайта. Для того, чтобы запретить к индексации страницы, которые не должны конкурировать с основной страницей, необходимо после команды «Disallow» указать полный путь к странице (например /seo/robots-seo). Так Вы устраните каннибализацию поисковой выдаче и улучшите ранжирование сайта. Для того, чтобы понять принцип работы файла robots.txt рекомендую прочитать детальное руководство от компании Яндекс. О том, как рекомендует создавать и настраивать robots компания Google, написано тут.
Видео о том, как настроить файл robots.txt для сайта wordpress