Подскажите, плиз, как закрыть страницы-дубли в файле robots.txt
На сайте стали появляться дубли страниц, выглядят вот так: [ссылки видны только авторизованным пользователям] Архив дня, так сказать) Закрыла в роботс таким образом: Disallow: /2015/
А нифига оно не закрывает, все равно гугл видит эти страницы как дубли. Плохо разбираюсь в роботс, обычно просто копирую у кого-нить или нахожу в интернете примерное содержание.. Помогите советом, как мне правильно закрыть эти архивы, чтобы полностью вся папка 2015 и ее содержимое не индексировалось.
А если кто доходчиво расскажет, как именно, какими символами закрывать такие дубли - буду премного благодарна. В интернете много информации, но вся такая разная, не знаешь чему верить..
Если CMS - Wordpress, то удобнее установить плагин All In One SEO Pack, в настройках которого будут три волшебных галочки: [ссылки видны только авторизованным пользователям] - и дублей больше не будет. В примере закрыты от индексации не только архивы, но и рубрики со страницами тегов, вам это, возможно, не нужно.
Учтите, что из индекса дубли пропадают не сразу, а по прошествии нескольких недель, а иногда и месяцев.
Плагин: [ссылки видны только авторизованным пользователям] - его плюс еще и в очень гибкой настройке мета-тегов - можно прописать отдельно для каждой страницы + настроить собственные заголовки, чтобы красиво выводились в поиске.
Здравствуйте, CMS действительно Wordpress, но я купила платную хорошую тему, оптимизированную и настроенную. Есть блоки сео для заполнения, страницы дублей тоже закрыты изначально. Поэтому не охота ставить лишний плагин, чтобы не нагружать итак медленно работающий сайт.
А вместо Алл Ин Сео Пак поставьте Platinum SEO, настройки импортируются и в нем есть галочка делать 301 редиректы. Т.е. все пройдет без болезненно для сайта. А /2015/ я не нашел, просто если это архив по годам, то должен быть и 2014 и скоро появится 2016....
Спасибо за подсказки, все исправлю и поставлю плагины. А страница архивов есть, и действительно, проверила, есть и 2014 год(. Открываются архивы у меня по ссылке [ссылки видны только авторизованным пользователям] Так, как я его закрыла, Disallow: /2015/ эти архивы 2015 года должны выпасть из индекса? Огромное спасибо за помощь!
Ничего страшного в такой структуре нет, по второй ссылке никто никогда не заходит, потому что ее не существует на страницах.
Ставить еще один плагин, только для того, чтобы убрать никому не мешающую проставку в урле - не самая полезная фича.
Platinum SEO ничем не отличается от All in One SEO, кроме как наличием опции 301 редиректов ну и еще возможностью оптимизации рубрик, наверное, но странно, зачем вы советуете править robots.txt после установки Platinum SEO, если в нем так же присутствует опция "noindex for Data based Archives" и "Use noindex for Tag Archives" - они уже будут закрыты, в robots дублировать нет смысла.
Не нужно с нее ничего ставить, ее как таковой не существует в явном виде, как не существуует страниц [ссылки видны только авторизованным пользователям] или [ссылки видны только авторизованным пользователям] - так можно написать что угодно руками, но на сайте они нигде не генерируются, а раз их нет, то и редиректить их не нужно никуда. Просто кому-то не нравится, что в URL страницы присутствует слово category, но по факту это не имеет ровно никакого значения. Если же в проиндексированном сайте убрать category в урле, то да, редиректы будут нужны - решается еще одним вышеназванным плагином, но придется ждать переиндексации. И все ради чего, спрашивается?
Я порекомендовал SEO-плагин, потому что он решает сразу обе задачи - закрывает от индексации нужные типы страниц и позволяет оптимизировать остальные. Ставить же плагин, для того, чтобы в урле там что-то убрать, считаю бессмысленным - это ничего не даст для сайта. Когда нужно сделать ЧПУ или кириллицу в латиницу перевести - да, лучше поставить плагин, который за секунду все сделает красивым.
Не знала о том, что гугл может нагло игнорировать содержимое файла роботс. Приму совет к вниманию, поставлю таки All In One SEO Pack,попробую таким образом избавиться от дублей. Спасибо за помощь, выводы сделала, просьба закрыть тему.
Публикация комментариев и создание новых тем на форуме Адвего для текущего аккаунта ограничено. Подробная информация и связь с администрацией: https://advego.com/v2/support/ban/forum/1186
