Генератор тега Noindex
Укажите, что это за страница и чего вы хотите от неё, и получите механизм, который действительно это делает — со snippet для вашего стека.
Прочтите это в первую очередь. URL, запрещённый в robots.txt, никогда не запрашивается, поэтому его noindex никогда не читается. Блокировка и noindex одной и той же страницы одновременно — причина того, что страницы остаются в индексе годами с надписью "No information is available for this page". Выберите один вариант: чтобы удалить страницу из поиска, оставьте её доступной для обхода и позвольте краулеру увидеть noindex.
Ничего, что вы вводите здесь, не загружается, не сохраняется и не отправляется куда-либо. Всё работает в вашем браузере.
Четыре механизма, четыре разные задачи
- noindex удаляет страницу из результатов поиска и оставляет её доступной для обхода. Это единственный механизм, который надёжно выводит страницу из индекса и удерживает её там. Для его работы страница должна быть доступна для запроса.
- robots.txt Disallow останавливает fetch. Не останавливает индексацию: URL, на который указывают ссылки, может быть проиндексирован только по силе этих ссылок, без описания, потому что краулер никогда не был разрешён его просматривать. Используйте это, чтобы экономить бюджет обхода на такие вещи, как фасетная навигация, а не для скрытия страниц.
- rel=canonical консолидирует. Переносит сигналы с дубликата на версию, которую вы хотите ранжировать. Пометка дубликата как noindex вместо этого удаляет эти сигналы, поэтому «noindex the duplicates» — неверный подход для сайта электронной коммерции.
- 410 Gone (или 404) используется для страниц, которые больше не существуют. 410 более определённый из двух и обычно обрабатывается чуть быстрее, но оба приводят к тому же результату. Ни один из них не требует noindex, а добавление noindex к странице, уже возвращающей 404, ничего не меняет, потому что тело страницы ошибки не читается для директив.
Почему заблокированная страница продолжает появляться
Вот последовательность, в которой люди попадают в ловушку. Вы ставите noindex странице. Через недели она всё ещё находится в индексе, поэтому вы также блокируете её в robots.txt для полной уверенности. Теперь Google не может fetch страницу, поэтому он не видит noindex, и URL остаётся — теперь постоянно, потому что инструкция, которая должна её удалить, находится за закрытой дверью. Решение — разблокировать URL, убедиться, что noindex отдается, и ждать повторного обхода. Для страницы с небольшим трафиком это может занять недели; инструмент Removals tool даёт вам шесть месяцев, пока процесс происходит.
X-Robots-Tag, для всего, у чего нет head
PDF, таблица, необработанное изображение, файл JSON — ни один из них не может содержать meta‑tag, но все они могут быть проиндексированы. HTTP header выполняет ту же задачу с сервера: X-Robots-Tag: noindexОн также масштабируется лучше, чем meta‑tag, для целых каталогов, и является единственным вариантом, когда нельзя редактировать сам файл. Если вы развертываете за CDN, задайте его на источнике и проверьте, что он сохраняется — заголовок, удалённый прокси, — директива, которую никто не видит.
Проверьте, не делайте предположений
Какой бы механизм вы ни использовали, убедитесь, что краулер получает его, а не только то, что вы его отправили. Выполните fetch URL с помощью curl -I и просмотрите заголовки, используйте инструмент URL Inspection в Search Console и смотрите на проиндексированный HTML, а не на отрендеренную страницу, а также проверьте, что noindex, внедрённый через JavaScript, действительно присутствует в выдаваемой разметке. Noindex, добавленный клиентским скриптом, — дело случая. Для полного набора директив — nosnippet, max-snippet, noarchive, unavailable_after и варианты для отдельных краулеров — используйте генератор meta robots; эта страница посвящена только решению и единственной директиве, вытекающей из него.
Вопросы, которые задают люди
Сколько времени требуется, чтобы noindex удалил страницу?
Столько, сколько Google понадобится, чтобы переобойти URL — это дни для страницы с трафиком и может быть месяцами для страницы без него. Ускорить сам процесс сканирования нельзя, но вы можете запросить повторную обработку URL в Search Console и воспользоваться инструментом Removals для временного скрытия, пока сработает постоянный механизм.
Стоит ли использовать noindex или robots.txt?
Noindex, когда страница не должна появляться в результатах. Robots.txt, когда страница может появиться, но её не стоит сканировать — бесконечные комбинации фильтров, результаты внутреннего поиска, календари. Никогда не используйте оба на одном URL: блокировка не позволяет ever быть прочитанным.
Передают ли noindex, nofollow какую‑либо ценность?
Нет, и обычно это не то, что вам нужно. noindex, follow заставляет краулер переходить по ссылкам на странице, пока сама страница исчезает из результатов. Добавление nofollow также превращает страницу в тупик. При достаточно длительном времени Google всё равно начинает рассматривать длительно noindexed страницу как nofollow, что является аргументом против использования noindexed страницы как постоянного элемента внутренней ссылочной структуры.
Как не допустить индексацию сайта‑стейджинга в Google?
HTTP‑аутентификация или белый список IP‑адресов. Не robots.txt, который раскрывает пути всем, кто его читает, и не noindex, который зависит от поведения краулера. Если стейджинг доступен без пароля, его найдут и проиндексируют.
Надёжно ли добавлять meta‑тег noindex через JavaScript?
Нет. Это зависит от того, как Google рендерит страницу, что происходит отдельным и более медленным проходом, и от того, что в этом рендере ничего не пошло не так. Если директива имеет значение, отдавайте её в HTML‑ответе или в HTTP‑заголовке.
Похожие инструменты
Меньше страниц, лучше ссылки
Большинству сайтов, которым требуется очистка от noindex, нужна более продвинутая стратегия ссылок. Сокращение индекса помогает; предоставление оставшимся страницам авторитета — то, что их продвигает.