По каким причинам не работает robots.txt

Даже если файлы закрыты в robots.txt, они все равно могут попасть в выдачу.

Робот Яндекса выполняет все правила, прописанные в robots.txt. Однако для правильного понимания им предписаний большое значение имеют следующие нюансы:

  • Учет директив из robots.txt, выдача кода HTTP 200 при обращении к файлу.
  • Размещение файла в корневом каталоге веб-сайта.
  • При размере файла, превышающем 32 килобайта, инструкция воспринимается роботом как чересчур сложная или неправильная.
  • Если робот обнаруживает конфликтующие директивы наподобие

Allow:/
User-agent:Yandex
Disallow:*

то он определенно предпочтет правило, позволяющее страницам участвовать в поиске.

Самостоятельную проверку корректности настроек файла robots.txt можно произвести с помощью анализатора robots.txt. Срок обновления информации в поиске после редактирования составляет примерно две недели.