Как настроить файл robots.txt для сайта?

23.10.2017

Артём Плотников

Для управления индексацией веб ресурса необходимо правильно настроить папку robots.txt. Он содержит директивы, дающие разрешение или запрещающие роботам для поиска добавлять в их базу данных разделы ресурса, отдельные страницы, размещенные на нем. Например, на ресурсе размещены данные, нежелательные для индекса поисковиков. С этой целью переходим на robots.txt, где настраиваем запрет выполнения операции.

Если необходимо, чтобы поисковики могли найти требуемый документ, он должен размещаться на интернет-ресурсе в корневой папке, к тому же не находился под запретом, т.е. располагаться под интернет-адресу ресурса.ru/robots.txt. Если он отсутствует, то системы для поиска будут индексировать всю информацию, размещенную на сайте. Такой недочет может привести к проблемам, связанным с появлением в базе данных страниц-дублей.

Описываемый файл позволяет прописать команды, необходимы для каждой поисковой системы отдельно. Каждая прописывается с новой строки.

Основные команды

Имеется набор команд, используемых в вышеназванной папке. Одна из них User-agent: *. Позволяет всем роботам на проведение индексации, для которых не прописаны отдельные директивы.

Использование специальных символов

В директивах, которые отражаются в вышеназванной папке применяется 2 спецсимвола: $, *. Последний — имеет возможность заменять символы, расположенные в неважно какой последовательности в команде. Добавление производится в автоматическом режиме в конце каждой команды. Когда требуется , чтобы данная функция не работалв, в конце ставиться первый из указанных символов.

Проверка настроек

Добавив на сайт названный файл, проверяем насколько правильно, четко выполняется возложенная обязанность, а при необходимости изменить разрешения, запреты. Поисковые системы при проверке на правильность выполнения папкой обязанностей обладают специальными инструментами. Они могут иметь различные названия, места расположения. Рассмотрим инструмент, предлагаемый ресурсом Яндекс. Располагается в Яндекс. Вебмастер. Чтобы он начал выполнять работу по проверке переходим во вкладку Инструмент», выбираем кнопку «Анализ robots.txt», кликаем на нее. Проверка началась.

В диалоговом окне, на верхней части видим ссылку на сайти, который проверяется в эту минуту, а точнее работу требуемого файла, который располагается на нашем интернет-сайте. Нужно всегда помнить и проверять, чтобы содержание папки позволяющей проводить поисковикам индексацию было прописано корректно. Когда Яндекс.Вебмастер будет показывать устаревшие команды, необходимо будет кликнуть на значок серого цвета, который располагается справа от ссылки на веб-сайт, который проверяется, он имеет название — «Загрузить».

После этого обращаемся к нижней части диалогового окна, находим поле с названием «Разрешены ли URL?». Далее добавляем список страниц, которые необходимо нам проверить на предмет доступности их для индексации различными поисковыми системами. После добавления списка страниц кликаем на кнопку «Проверить». Ниже появятся результаты. Если стоит значок зеленного цвета, то страница индексируется поисковиками, а красный будет означать ее запрет на данную функцию. Похожий инструмент для проверки корректности работы мы можем найти на просторах центра вебмастеров Гугл.

Периодически структура сайта подвергается различного рода изменениям. По этой причине спустя какое-то время требуется подвергать вебресурс проверке на его индексацию по всем имеющимся в Интернете поисковым системам. Если нежелательные документы подвергаются поисковиками индексации, требуется посетить указанную выше папку, где закрыть их для индексации поисковиками.