Допоможемо пробитися на перші сторінки

Контент відсутній у пошуку - перевір robots.txt

Контент відсутній у пошуку - перевір robots.txt

До нас часто звертаються з питанням: - У мене гарний сайт з адаптивним дизайном і унікальним контентом. Текст написаний за всіма правилами і без помилок. Щільність ключових слів та інші показники у нормі. Метатеги прописані. Чому сторінки не з'являється в пошуку?

У таку ситуацію дуже часто потрапляють молоді сайти. І в 90 відсотках з 100 проблема полягає саме в неправильно складеному файлі robots.txt.

Проста неуважність розробника або оптимізатора може зіграти з вашим веб-проектом злий жарт. У першому випадку, закритий на час розробки сайт так і забувають відкрити. У другому випадку, про файлі robots.txt забувають, вважаючи його непотрібним, або користуються встановленим, не обтяжуючи себе вносити потрібні зміни.

Наслідки можуть бути наступними:

Повністю закритий robots.txt гарантовано виключить з пошуку всі сторінки вашого сайту.

Неправильно налаштований robots.txt - сильно знизить позиції сторінок в пошуковій видачі.

Помітити повну відсутність веб-ресурсу в пошуку набагато простіше. А значить можна в короткий термін вжити заходів щодо виявлення та усунення помилок. А ось з неправильно налаштованим robots.txt все набагато складніше - визначити, як саме цей файл впливає на позиції сайту, буде непросто без використання інструментів Google.

Що ж може бути не так з цим robots.txt?

Якщо частина ресурсів сайту закрита директивою Disallow, то робот Google побачить сторінку вашого сайту по-іншому. Уявіть собі, що на вашому веб-ресурсі відключилися стилі і скрипти, відсутні картинки. Неприваблива картина, чи не так?

Чому ж так відбувається? Причина в тому, що встановлюються на сайт компоненти, модулі та плагіни можуть розташовуватися в папці яка закрита для індексації. Це означає, що такі ресурси будуть недоступні для сканування.

Також нерідко плагіни і компоненти для автоматичної оптимізації сайту змінюють посилання файлів css, js, php, завантажуючи на сторінку їх копії, розташовані в папці кеша.

Щоб перевірити, чи правильно Googlebot бачить ваш сайт за допомогою інструмента Search Console. У розділі «Сканування» виберіть пункт «Інструмент перевірки файлу robots.txt»

Перевірте сторінки сайту на доступність. При правильному налаштуванні robots.txt буде отримана відповідь «ДОСТУПНИЙ». Якщо немає, то подивіться яка рядок у файлі robots.txt виділена червоним і відкрийте до цієї директорії доступ. Щоб не відкривати доступ до всієї директорії можна скористатися директивою Allow і відкрити доступ до конкретного файлу.

Якщо ви все зробили правильно, позиції сторінок в пошуковій видачі почнуть неухильно підніматися.

­ЗАМОВИТИ
розкрутку сайту

Тарифи на обслуговування сайтів

 

розробка оптимізованого сайту

© 2019 SEO студия «ТОП»
г. Запорожье, ул. Гагарина, дом 3. Тел. +38 (067) 582-47-02
Время работы: с 9-00 ч. до 18-00 ч. Выходной: воскресенье