2 июля 2019 года Google заявил, что прекращает поддержку таких директив как crawl-delay, nofollow и noindex. Об этом сообщается в блоге Google для веб-мастеров.
Причиной принятия такого решения стало неправильное использование данных директив, которые попросту мешают присутствию сайтов в веб поиске.
Обработка вышеуказанных директив будет прекращена 1 сентября 2019 года.
В качестве альтернативы Google предлагает
- использовать на страницах метатег noindex
- коды ответа HTTP 404 и 410,
- защитить нужные страницы паролем,
- использовать директиву disallow
- удалять ненужные URL из результатов поиска с помощью инструмента Search Console Remove URL tool.
Как видите, сайтам, использующим noindex в robots.txt, есть о чем побеспокоиться. Ведь у них уже этой осенью в результатах поиска может появиться тысячи ненужных и некачественных страниц.
Проверить наличие директивы noindex на своем сайте вы можете, набрав в адресной строке:
http://ваш сайт/robots.txt
