До нас часто звертаються з питанням: - У мене гарний сайт з адаптивним дизайном і унікальним контентом. Текст написаний за всіма правилами і без помилок. Щільність ключових слів та інші показники у нормі. Метатеги прописані. Чому сторінки не з'являється в пошуку?
У таку ситуацію дуже часто потрапляють молоді сайти. І в 90 відсотках з 100 проблема полягає саме в неправильно складеному файлі robots.txt.
Проста неуважність розробника або оптимізатора може зіграти з вашим веб-проектом злий жарт. У першому випадку, закритий на час розробки сайт так і забувають відкрити. У другому випадку, про файлі robots.txt забувають, вважаючи його непотрібним, або користуються встановленим, не обтяжуючи себе вносити потрібні зміни.
Наслідки можуть бути наступними:
Повністю закритий robots.txt гарантовано виключить з пошуку всі сторінки вашого сайту.
Неправильно налаштований robots.txt - сильно знизить позиції сторінок в пошуковій видачі.
Помітити повну відсутність веб-ресурсу в пошуку набагато простіше. А значить можна в короткий термін вжити заходів щодо виявлення та усунення помилок. А ось з неправильно налаштованим robots.txt все набагато складніше - визначити, як саме цей файл впливає на позиції сайту, буде непросто без використання інструментів Google.
Що ж може бути не так з цим robots.txt?
Якщо частина ресурсів сайту закрита директивою Disallow, то робот Google побачить сторінку вашого сайту по-іншому. Уявіть собі, що на вашому веб-ресурсі відключилися стилі і скрипти, відсутні картинки. Неприваблива картина, чи не так?
Чому ж так відбувається? Причина в тому, що встановлюються на сайт компоненти, модулі та плагіни можуть розташовуватися в папці яка закрита для індексації. Це означає, що такі ресурси будуть недоступні для сканування.
Також нерідко плагіни і компоненти для автоматичної оптимізації сайту змінюють посилання файлів css, js, php, завантажуючи на сторінку їх копії, розташовані в папці кеша.
Щоб перевірити, чи правильно Googlebot бачить ваш сайт за допомогою інструмента Search Console. У розділі «Сканування» виберіть пункт «Інструмент перевірки файлу robots.txt»
Перевірте сторінки сайту на доступність. При правильному налаштуванні robots.txt буде отримана відповідь «ДОСТУПНИЙ». Якщо немає, то подивіться яка рядок у файлі robots.txt виділена червоним і відкрийте до цієї директорії доступ. Щоб не відкривати доступ до всієї директорії можна скористатися директивою Allow і відкрити доступ до конкретного файлу.
Якщо ви все зробили правильно, позиції сторінок в пошуковій видачі почнуть неухильно підніматися.
