К нам часто обращаются с вопросом: - У меня хороший сайт с адаптивным дизайном и уникальным контентом. Текст написан по всем правилам и без ошибок. Плотность ключевых слов и тошнота в норме. Метатеги прописаны. Почему страницы не появляется в поиске?
В такую ситуацию очень часто попадают молодые сайты. И в 90 процентах из 100 проблема заключается именно в неправильно составленном файле robots.txt.
Простая невнимательность разработчика или оптимизатора может сыграть с вашим веб-проектом злую шутку. В первом случае, закрытый на время разработки сайт так и забывают открыть. Во втором случае, о файле robots.txt забывают, считая его не нужным, или пользуются предустановленным, не утруждая себя вносить нужные изменения.
Последствия могут быть следующими:
Полностью закрытый robots.txt гарантированно исключит из поиска все страницы вашего сайта.
Неправильно настроенный robots.txt - сильно понизит позиции страниц в поисковой выдаче.
Заметить полное отсутствие веб-ресурса в поиске намного проще. А значит можно в короткий срок принять меры к выявлению и устранению ошибок. А вот с неправильно настроенным robots.txt все гораздо сложнее – определить, что именно этот файл влияет на позицию сайта, будет непросто без использования инструментов Google.
Что же может быть не так с этим robots.txt?
Если часть ресурсов сайта закрыта директивой Disallow, то робот Google увидит страницу вашего сайта по-другому. Представьте себе, что на вашем веб-ресурсе отключились стили и скрипты, отсутствуют картинки. Неприглядная картина, верно?
Почему же так происходит? Причина в том, что устанавливаемые на сайт компоненты, модули и плагины могут располагаться в папке закрытой от индексации. Это значит, что такие ресурсы будут недоступны для сканирования.
Также нередко плагины и компоненты для автоматической оптимизации сайта изменяют ссылки файлов css, js, php, загружая на страницу их копии, расположенные в папке кэша.
Чтобы проверить, правильно ли Googlebot видит ваш сайт воспользуйтесь инструментом Search Console. В разделе «Сканирование» выберите пункт «Инструмент проверки файла robots.txt»
Проверьте страницы сайта на доступность. При правильной настройке robots.txt будет получен ответ «ДОСТУПЕН». Если нет, то посмотрите какая строчка в файле robots.txt выделена красным и откройте к этой директории доступ. Чтобы не открывать доступ ко всей директории можно воспользоваться директивой Allow и открыть доступ к конкретному файлу.
Если вы все сделали правильно, позиции страниц в поисковой выдаче начнут неуклонно подыматься.
