Индексация - это запись информации о странице сайта в базу (индекс) поисковой системы.
Поисковый системы регулярно индексируют сайты в интернете, чтобы пополнять индекс новыми страницами, а также обновленными старыми.
Индексацию страниц производят поисковые роботы, для которых на сайте могут быть предусмотрены отдельные инструкции, размещаемые в файле robots.txt
Пример инструкции для поискового робота:
Disallow /news/ - не индексировать раздел news и все страницы в нем.
В процессе выполнения рекламных работ может понадобиться проверить, не запрещена ли индексация страницы. Это удобнее всего проверить с помощью сервисов самих поисковых систем:
https://webmaster.yandex.ru/tools/robotstxt/ - в поле "Проверяемый сайт" укажите домен сайта, где размещена ссылка, и нажмите кнокпу загрузки справа от поля с адресом сайта.
После этого опуститесь ниже к блоку "Разрешены ли URL?" и в поле "Список URL" укажите адрес страницы(!), где размещена ссылка и нажмите "Проверить".
В графе "Результат" будет вердикт, разрешена ли страница для индексации, или нет. Но это касается только ссылок, запрещенных к индексации с помощью директив, прописанных в файле robots.txt.
Важно! Индексация также может быть запрещена с помощью мета-тега <meta name=“robots” content=“noindex,nofollow”> или тега "noindex" внутри текста.