Поможем пробиться на первые страницы

Настройка robots.txt

Контент отсутствует в поиске - проверь robots.txt

К нам часто обращаются с вопросом: - У меня хороший сайт с адаптивным дизайном и уникальным контентом. Текст написан по всем правилам и без ошибок. Плотность ключевых слов и тошнота в норме. Метатеги прописаны. Почему страницы не появляется в поиске?

В такую ситуацию очень часто попадают молодые сайты. И в 90 процентах из 100 проблема заключается именно в неправильно составленном файле robots.txt.

Простая невнимательность разработчика или оптимизатора может сыграть с вашим веб-проектом злую шутку. В первом случае, закрытый на время разработки сайт так и забывают открыть. Во втором случае, о файле robots.txt забывают, считая его не нужным, или пользуются предустановленным, не утруждая себя вносить нужные изменения.

Последствия могут быть следующими:

Полностью закрытый robots.txt гарантированно исключит из поиска все страницы вашего сайта.

Неправильно настроенный robots.txt - сильно понизит позиции страниц в поисковой выдаче.

Заметить полное отсутствие веб-ресурса в поиске намного проще. А значит можно в короткий срок принять меры к выявлению и устранению ошибок. А вот с неправильно настроенным robots.txt все гораздо сложнее – определить, что именно этот файл влияет на позицию сайта, будет непросто без использования инструментов Google.

Что же может быть не так с этим robots.txt?

Если часть ресурсов сайта закрыта директивой Disallow, то робот Google увидит страницу вашего сайта по-другому. Представьте себе, что на вашем веб-ресурсе отключились стили и скрипты, отсутствуют картинки. Неприглядная картина, верно?

Почему же так происходит? Причина в том, что устанавливаемые на сайт компоненты, модули и плагины могут располагаться в папке закрытой от индексации. Это значит, что такие ресурсы будут недоступны для сканирования.

Также нередко плагины и компоненты для автоматической оптимизации сайта изменяют ссылки файлов css, js, php, загружая на страницу их копии, расположенные в папке кэша.

Чтобы проверить, правильно ли Googlebot видит ваш сайт воспользуйтесь инструментом Search Console. В разделе «Сканирование» выберите пункт «Инструмент проверки файла robots.txt»

Проверьте страницы сайта на доступность. При правильной настройке robots.txt будет получен ответ «ДОСТУПЕН». Если нет, то посмотрите какая строчка в файле robots.txt выделена красным и откройте к этой директории доступ. Чтобы не открывать доступ ко всей директории можно воспользоваться директивой Allow и открыть доступ к конкретному файлу.

Если вы все сделали правильно, позиции страниц в поисковой выдаче начнут неуклонно подыматься.

­ЗАКАЗАТЬ
раскрутку сайта

Тарифы на обслуживание сайтов

 

Разработка оптимизированного сайта

© 2019 SEO студия «ТОП»
г. Запорожье, ул. Гагарина, дом 3. Тел. +38 (067) 582-47-02
Время работы: с 9-00 ч. до 18-00 ч. Выходной: воскресенье