Поможем пробиться на первые страницы

Настройка robots.txt

Контент отсутствует в поиске - проверь robots.txt

К нам часто обращаются с вопросом: - У меня хороший сайт с адаптивным дизайном и уникальным контентом. Текст написан по всем правилам и без ошибок. Плотность ключевых слов и тошнота в норме. Метатеги прописаны. Почему страницы не появляется в поиске?

В такую ситуацию очень часто попадают молодые сайты. И в 90 процентах из 100 проблема заключается именно в неправильно составленном файле robots.txt.

Простая невнимательность разработчика или оптимизатора может сыграть с вашим веб-проектом злую шутку. В первом случае, закрытый на время разработки сайт так и забывают открыть. Во втором случае, о файле robots.txt забывают, считая его не нужным, или пользуются предустановленным, не утруждая себя вносить нужные изменения.

Последствия могут быть следующими:

Полностью закрытый robots.txt гарантированно исключит из поиска все страницы вашего сайта.

Неправильно настроенный robots.txt - сильно понизит позиции страниц в поисковой выдаче.

Заметить полное отсутствие веб-ресурса в поиске намного проще. А значит можно в короткий срок принять меры к выявлению и устранению ошибок. А вот с неправильно настроенным robots.txt все гораздо сложнее – определить, что именно этот файл влияет на позицию сайта, будет непросто без использования инструментов Google.

Что же может быть не так с этим robots.txt?

Если часть ресурсов сайта закрыта директивой Disallow, то робот Google увидит страницу вашего сайта по-другому. Представьте себе, что на вашем веб-ресурсе отключились стили и скрипты, отсутствуют картинки. Неприглядная картина, верно?

Почему же так происходит? Причина в том, что устанавливаемые на сайт компоненты, модули и плагины могут располагаться в папке закрытой от индексации. Это значит, что такие ресурсы будут недоступны для сканирования.

Также нередко плагины и компоненты для автоматической оптимизации сайта изменяют ссылки файлов css, js, php, загружая на страницу их копии, расположенные в папке кэша.

Чтобы проверить, правильно ли Googlebot видит ваш сайт воспользуйтесь инструментом Search Console. В разделе «Сканирование» выберите пункт «Инструмент проверки файла robots.txt»

инструмент проверки файла robots.txt

Проверьте страницы сайта на доступность. При правильной настройке robots.txt будет получен ответ «ДОСТУПЕН». Если нет, то посмотрите какая строчка в файле robots.txt выделена красным и откройте к этой директории доступ. Чтобы не открывать доступ ко всей директории можно воспользоваться директивой Allow и открыть доступ к конкретному файлу.

Если вы все сделали правильно, позиции страниц в поисковой выдаче начнут неуклонно подыматься.

­ЗАКАЗАТЬ
раскрутку сайта

Тарифы на обслуживание сайтов

 

Разработка оптимизированного сайта

© 2019 SEO студия «ТОП»
г. Запорожье, ул. Гагарина, дом 3. Тел. +38 (067) 582-47-02
Время работы: с 9-00 ч. до 18-00 ч. Выходной: воскресенье