Тестер Robots.txt
Вставьте robots.txt и URL, выберите сканер и посмотрите, какое правило решает задачу — с номером строки и всем, что упущено.
Ничего, что вы вводите здесь, не загружается, не сохраняется и не отправляется куда-либо. Всё работает в вашем браузере.
Применяется самое длинное правило, а не первое.
Почти каждое объяснение robots.txt, которое вы читаете, утверждает, что выигрывает первое совпадающее правило. Это не так. Google — и, с момента RFC 9309, все, кто заявляют, что следуют стандарту — сравнивают длину совпадающих шаблонов пути и применяют самое длинное. A Disallow: / в начале группы не останавливает Allow: /blog/ на пять строк ниже от выигрыша для /blog/post, потому что /blog/ состоит из шести символов и / состоит из одного.
Когда два совпадающих шаблона одинаковой длины, выигрывает Allow. Это и есть весь механизм разрешения ничьи. Поэтому Allow: /folder и Disallow: /folder в той же группе означает, что папка доступна для сканирования.
Применяется только одна группа — это та, за которую нужно платить
Сканер читает весь файл, выбирает единственную группу, чей токен user-agent лучше всего соответствует его имени, и затем действует так, будто остальная часть файла не существует. Он не объединяет ваш Googlebot группу с вашими * группой.
Итак, как только вы добавляете три строки правил, специфичных для Googlebot, чтобы ослабить один путь, все ограничения в вашей * группе перестаёт применяться к Googlebot. Блоки фасетной навигации, внутреннего поиска, печатного представления — всё это исчезает для единственного важного сканера. Это самая распространённая серьёзная ошибка в robots.txt, и она остаётся незаметной, пока ваши статистики сканирования не начнут отклоняться. Установите выше сканер на Googlebot в примере файла и посмотрите, какая группа будет использована.
Подстановочные знаки
- Каждый шаблон — это совпадение по префиксу.
Disallow: /adminблоки/admin,/administratorи/admin-panel. Если вы имели в виду папку, напишите/admin/. *соответствует любой последовательности символов, включая отсутствие и включая слеши./*?блокирует каждый URL с строкой запроса.$закрепляет конец, и только в конце шаблона./*.pdf$блокирует/a/b.pdfно не/a/b.pdf?download=1. A$в любом другом месте это просто знак доллара.Disallow:без чего‑либо после него означает разрешить всё. Это не блок.Disallow: /является блоком, а отсутствующий слеш — это разница в один символ между \"crawl my whole site\" и \"crawl none of it\".
Блокировка страницы не удаляет её
Запрещённый URL всё равно может быть проиндексирован. Google не будет его запрашивать, но если на него ссылается достаточно страниц, он появится в результатах как голый URL без заголовка и описания, потому что Google знает о его существовании, но не имеет права просматривать его. Чтобы исключить что‑то из индекса, необходимо позволить его сканировать и отдавать noindex. Заблокируйте его в robots.txt вместо этого, и Google никогда не запрашивает страницу, никогда не видит noindex, а страница остаётся проиндексированной бесконечно. Две директивы нейтрализуют друг друга, и та, которая проигрывает, — это та, которую вы хотели.
Что этот инструмент не знает
Он проверяет вставленный вами файл согласно опубликованным правилам сопоставления. Он не может сказать, является ли этот файл тем, который действительно отдается, или ваш CDN возвращает 404 для /robots.txt на некоторых узлах, или действительно ли сканер, выдающий себя за Googlebot, таков. robots.txt, возвращающий 5xx, Google рассматривает как \"disallow everything\" примерно в течение тридцати дней — ни одно правило в нём не имеет значения.
Вопросы, которые задают люди
Почему здесь указано «разрешено», а другой тестер говорит «заблокировано»?
Почти всегда правило выбора группы. Многие тестеры объединяют группу, специфичную для сканера, с * группой; реальные сканеры этого не делают. Если ваш файл содержит обе Googlebot группу и * группу, то только группа Googlebot применяется к Googlebot. Другое распространённое различие — приоритет: тестеры, которые применяют первое совпадающее правило вместо самого длинного, дают противоположный ответ, когда Allow находится под более широким Disallow.
Имеет ли значение регистр пути?
Да. Пути сравниваются с учётом регистра, поэтому Disallow: /Admin не блокирует /admin. Имена директив и токены user-agent нечувствительны к регистру, поэтому disallow, Disallow и DISALLOW это одно и то же.
Нужен ли отдельный robots.txt для каждого поддомена?
Да, и для каждого протокола. https://shop.example.com/robots.txt управляет только этим хостом — это полностью отдельный файл от https://www.example.com/robots.txt, и ни один из них не оказывает влияния на другой. Это чаще всего сбивает с толку людей на поддоменах staging.
Что происходит, если для моего краулера нет группы и нет группы‑подстановки?
Разрешено всё. Краулер, который не находит подходящую группу, не применяет никаких правил. Добавление User-agent: * группы с нужными ограничениями — вот что останавливает это.
Стоит ли блокировать AI‑краулеров?
Это бизнес‑решение, а не SEO‑решение, и их стоит разделять. Блокировка GPTBot, ClaudeBot или PerplexityBot не влияет на рейтинг в Google Search. Блокировка Google-Extended выводит вас из обучения Gemini, не влияя при этом на Search. Нужно знать, что эти токены работают только если краулер их соблюдает, а список меняется каждые несколько месяцев.
Файл, который я вставляю, загружается где‑нибудь?
Нет. Парсер и сопоставитель работают в вашем браузере. Эта страница не имеет бэкенда и не делает сетевых запросов с тем, что вы вводите.
Сопутствующие инструменты
Crawlable — это минимум, а не цель
Правильные правила обхода позволяют не терять трафик. Они не приносят дополнительный трафик. Эта часть — ссылки.