Інструмент має два режими. «Створити robots.txt» збирає файл із шаблону та ваших правил і дає його скопіювати або завантажити. «Перевірити robots.txt» завантажує чинний файл будь-якого сайту або приймає вставлений текст, знаходить помилки і показує, чи дозволено конкретному роботу відкрити певну адресу.
Що таке robots.txt і чого він не робить
robots.txt лежить у корені сайту і каже пошуковим роботам, які розділи не варто сканувати. Це домовленість, а не захист: файл не ховає сторінки від людей і не прибирає їх з пошуку. Сторінку, заборонену в robots.txt, Google може показати в результатах без опису, якщо на неї ведуть посилання. Щоб прибрати сторінку з індексу, потрібен метатег robots з noindex, а щоб закрити тестовий сайт, потрібен пароль. Правила для пароля сформує наш генератор .htaccess.
Шаблони
- WordPress закриває /wp-admin/, але залишає доступним admin-ajax.php, на який спираються теми й плагіни, а також прибирає сторінки пошуку по сайту.
- OpenCart закриває адмінку, кошик, оформлення замовлення, порівняння та сторінки з параметрами сортування й ліміту, які створюють дублікати.
- Заборонити все підходить для тестової копії, але лише разом із паролем.
- Блокування ботів навчання ШІ додає окрему групу для GPTBot, ClaudeBot, CCBot, Google-Extended і Applebot-Extended. Це не впливає на звичайний пошук Google.
Як Google читає правила
Для кожного робота обирається найточніша група User-agent; якщо її немає, діє група для *. Усередині групи перемагає найдовше правило, яке збігається з адресою, а за однакової довжини Allow сильніше за Disallow. Символ * означає будь-яку послідовність, $ означає кінець адреси. Саме так працює тест URL у режимі перевірки, тож можна заздалегідь побачити, чи не закрито випадково потрібні сторінки.
Типові помилки
- Disallow: / для всіх роботів, забуте після запуску сайту з тестової копії.
- Відносна адреса в Sitemap: потрібна повна адреса з https://.
- noindex усередині robots.txt: Google такий рядок ігнорує.
- Закриті CSS і JS: пошуковик не бачить сторінку так, як бачить її відвідувач.
- Файл більший за 500 КіБ: Google читає лише початок.
Вимоги до сайту на WordPress і вибір середовища для нього описано на сторінці про хостинг для WordPress, а перевірити, що файл віддається з кодом 200 без зайвих переспрямувань, допоможе перевірка редиректів.
Перевірка чинного файлу
Режим перевірки завантажує https://домен/robots.txt з нашого сервера, проходячи до п’яти переспрямувань і відмовляючись від приватних адрес. Якщо сервер відповідає 404, файлу немає, і роботи можуть сканувати все: для більшості сайтів це нормально. Помилка 5xx серйозніша: Google може тимчасово припинити сканування сайту. Кількість перевірок обмежена, вміст файлів не зберігається.
Файл завантажують у корінь сайту через файловий менеджер або FTP. На хостингу RichHost це можна зробити й через SSH, а для WordPress доступне встановлення в один клік; деталі на сторінці тарифів.
Часті питання
Де має лежати robots.txt?
Лише в корені хоста: https://example.com/robots.txt. У підпапці його ніхто не читає, а кожен піддомен потребує власного файлу.
Чи потрібен Crawl-delay?
Google його ігнорує, Bing та деякі інші роботи враховують. Якщо сервер не витримує навантаження, краще розібратися з причиною, ніж уповільнювати сканування.
Як закрити сайт від індексації під час розробки?
Поставте пароль через Basic Auth. Disallow: / лише просить не сканувати, але не гарантує, що адреси не з’являться в пошуку.
Чи можна заблокувати лише ботів ШІ?
Так, увімкніть відповідну опцію. Сумлінні боти дотримуються правил, але robots.txt не змушує їх технічно.