Генератор Meta Robots
Отметьте нужные директивы и получите meta‑тег и соответствующий заголовок X-Robots-Tag, при этом комбинации, нейтрализующие друг друга, будут помечены.
Ничего, что вы вводите здесь, не загружается, не сохраняется и не отправляется куда‑либо. Всё работает в вашем браузере.
noindex и robots.txt — это не два способа сделать одно и то же
Это два разных механизма, и их одновременное использование для одного URL ломает оба. Disallow Останавливает загрузку страницы Google. noindex на странице. Если Google не может получить страницу, он не может прочитать тег, поэтому noindex никогда не виден и не обрабатывается — и URL всё равно может быть проиндексирован из входящих ссылок, отображаясь в результатах как запись без заголовка и без описания, которую теперь невозможно удалить.
Рабочая последовательность такова: разрешить сканирование страницы, отдать noindex, подождать, пока Google повторно просканирует и удалит её, и только тогда — если вы всё ещё хотите — заблокировать её в robots.txt. Выполнение в обратном порядке — один из самых распространённых способов, когда страница остаётся в индексе месяцами.
Тег, специфичный для бота, заменяет общий, а не добавляет к нему
Если страница содержит оба <meta name="robots" content="noindex"> и <meta name="googlebot" content="max-snippet:50">, Googlebot читает второй и полностью игнорирует первый. Для Google страница не помечена как noindex. Это та же ловушка, что и группы в robots.txt, и причина та же: люди считают, что конкретный блок переопределяет одну настройку, а не заменяет все их. Если вы пишете googlebot тег, повторите в нём каждую директиву, которую хотите оставить.
Мета‑тег и заголовок делают одно и то же, но в разных местах
- Используйте мета‑тег для HTML. Он должен находиться в
<head>. Тег robots, который оказывается в<body>, что происходит, когда что‑то ранее в head оформлено неверно, игнорируется. - Для всего остального используйте заголовок. PDF, CSV, изображение, конечная точка JSON — у них нет head, куда можно поместить тег.
X-Robots-Tag— единственный способ задать noindex для них, и поэтому старые PDF‑файлы чаще всего становятся забытым проиндексированным контентом на сайте. - Они комбинируются ограничительно. Если страница имеет оба, выигрывает самая строгая директива. Вы не можете ослабить заголовок с помощью тега.
- Вставка тега через JavaScript работает, но запоздало. Google увидит его на этапе рендеринга. Все остальные сканеры и первая проверка Google — нет.
noindex, follow истекает
noindex, follow на протяжении многих лет был стандартным решением для пагинированных архивов и фасетных страниц: удерживать страницу вне индекса, позволяя передавать вес ссылок. Google с тех пор ясно заявил, что со временем это не работает — страница, остающаяся noindex, сканируется всё реже, и в конце концов ссылки на ней перестают следоваться вовсе. Она всё ещё ведёт себя как follow в краткосрочной перспективе. Не стройте архитектуру, полагаясь на то, что это будет работать вечно.
Вопросы, которые задают
Нужно ли добавлять index, follow к моим страницам?
Нет. Это значения по умолчанию для каждой страницы, у которой вообще нет тега robots. Добавление <meta name="robots" content="index, follow"> безвредно и ничего не делает. Если CMS добавляет его на каждую страницу, это свидетельствует о том, что плагин написан, чтобы выглядеть занятым.
В чём разница между nofollow здесь и rel="nofollow" на ссылке?
Область. rel="nofollow" применяется к единственной ссылке, на которой находится. nofollow в теге robots применяется ко всем ссылкам на странице одновременно, включая вашу навигацию. Люди используют версию уровня страницы, чтобы решить проблему с одной плохой внешней ссылкой, и при этом тихо ухудшают внутреннюю перелинковку.
Удаляет ли noindex страницу из Google сразу же?
Нет. Он вступает в силу при следующем обходе страницы Google, что может занять дни или недели в зависимости от частоты сканирования этого URL. Если нужно удалить её сейчас, используйте инструмент Removals в Search Console для временной блокировки, а noindex выполнит постоянную работу.
Использует ли Bing те же директивы?
В основном. noindex, nofollow, noarchive и nosnippet понимаются Bing. The max-snippet, max-image-preview и max-video-preview family является расширением Google, как и unavailable_after. Bing также имеет nocache, что является отдельной вещью.
Почему этот инструмент не генерирует meta‑tag google-extended?
Потому что такого не существует. Google-Extended — это токен user-agent в robots.txt, который контролирует, используется ли ваш контент для обучения Gemini и Vertex AI. У него нет эквивалента в виде meta‑tag, и <meta name="google-extended"> тег игнорируется всеми. Отметьте галочку, и этот инструмент покажет вам две строки robots.txt, которые действительно делают это.
Сопутствующие инструменты
Решение, что не индексировать, составляет половину работы
Вторая половина — сделать так, чтобы проиндексированные страницы стоило находить. Это контент и ссылки, в указанном порядке.