Индексация, как проверить запрет на индексацию страницы сайта

Индексация - это запись информации о странице сайта в базу (индекс) поисковой системы.

Поисковый системы регулярно индексируют сайты в интернете, чтобы пополнять индекс новыми страницами, а также обновленными старыми.

Индексацию страниц производят поисковые роботы, для которых на сайте могут быть предусмотрены отдельные инструкции, размещаемые в файле robots.txt

Пример инструкции для поискового робота:

Disallow /news/ - не индексировать раздел news и все страницы в нем.

В процессе выполнения рекламных работ может понадобиться проверить, не запрещена ли индексация страницы. Это удобнее всего проверить с помощью сервисов самих поисковых систем:

https://webmaster.yandex.ru/tools/robotstxt/ - в поле "Проверяемый сайт" укажите домен сайта, где размещена ссылка, и нажмите кнокпу загрузки справа от поля с адресом сайта.

После этого опуститесь ниже к блоку "Разрешены ли URL?" и в поле "Список URL" укажите адрес страницы(!), где размещена ссылка и нажмите "Проверить".

В графе "Результат" будет вердикт, разрешена ли страница для индексации, или нет. Но это касается только ссылок, запрещенных к индексации с помощью директив, прописанных в файле robots.txt.

Важно! Индексация также может быть запрещена с помощью мета-тега <meta name=“robots” content=“noindex,nofollow”> или тега "noindex" внутри текста.