Фид регулярно блокируется в X-Robots-Tag

  • Resolved icopydoc

    (@icopydoc)


    7 years, 4 months ago

    Фид Дзена нестабилен! В результате частых смен статуса лента не успевает проиндексироваться. Страница то отдает 200, то “N?/?aURL запрещён к индексированию”.
    Сначала думал, что где-то в статьях поставил запрет. 2 недели не добавлял на сайт инфы – наблюдал. В итоге яндекс успел 7 раз посетить мой сайт. 3 раза получил ленту с кодом 200 и 4 раза с другим кодом. При этом проблем с любыми другими страницами нет! Всегда стабильно 200. Только фид “глючит”.

    Подумал, что проблема на стороне Яндекса. Писал Платону. Вот такой вот ответ:

    HTTP/1.1 200 OK
    X-Powered-By: PHP/5.6.31
    X-Hyper-Cache: continue – old file
    Last-Modified: Mon, 16 Oct 2017 18:04:51 GMT
    ETag: “31da247c02a6e3af83d4f07a40772d1c”
    X-Robots-Tag: noindex, follow
    Link: ; rel=”https://api.w.org/”
    Content-Type: application/rss+xml; charset=UTF-8
    Transfer-Encoding: chunked
    Date: Tue, 17 Oct 2017 06:58:13 GMT
    Accept-Ranges: bytes
    Server: LiteSpeed
    Connection: Keep-Alive
    Обратите внимание на строчку X-Robots-Tag: noindex, follow , именно она запрещает роботу индексировать контент страницы.

    Что это может быть? У меня лишь одно предположение. Возможен ли конфликт Вашего плагина с плагином all in seo pack? Если да, то это огромный недочет ибо плагин all in seo pack популярен.

    В роботс.тхт запрета не стоит. Если скармливаешь валидатору – пишет, что индексация разрешена

    The page I need help with: [log in to see the link]

Viewing 2 replies - 1 through 2 (of 2 total)
  • Plugin Author Flector

    (@flector)

    ну это проблема бота яндекса – какого фига он то ест ленту с noindex, то нет? потому что и All in One SEO Pack и Yoast SEO добавляют X-Robots-Tag: noindex, follow для всех rss-лент по умолчанию. и без возможности в плагинах это отключить.

    впрочем, неважно – в версии 1.11 тег X-Robots-Tag изменен на index, follow. если с вашей ленты и будут проблемы, то уже не по вине этого тега.

    Thread Starter icopydoc

    (@icopydoc)

    С версией 1.11. проблема ушла. Спасибо!

Viewing 2 replies - 1 through 2 (of 2 total)
  • The topic ‘Фид регулярно блокируется в X-Robots-Tag’ is closed to new replies.