2 липня 2019 року Google заявив, що припиняє підтримку таких директив як crawl - delay, nofollow і noindex. Про це повідомляється у блозі Google для веб-майстрів.
Причиною ухвалення такого рішення стало неправильне використання цих директив, які просто заважають присутності сайтів у веб пошуку.
Обробка вищезгаданих директив буде припинена 1 вересня 2019 року.
В якості альтернативи Google пропонує:
- використати на сторінках метатег noindex
- коди відповіді HTTP 404 і 410,
- захистити потрібні сторінки паролем
- використати директиву disallow
- видаляти непотрібні URL з результатів пошуку за допомогою інструменту Search Console Remove URL tool.
Як бачите, сайтам, використовуючим noindex в robots.txt, є про що потурбуватися. Адже у них вже цієї осені в результатах пошуку може з'явитися тисячі непотрібних і неякісних сторінок.
Перевірити наявність директиви noindex на своєму сайті ви можете, набравши в адресному рядку:
http://ваш сайт/robots.txt
