Проверщик HTTP‑кодов статуса

Почему ни один браузерный инструмент не может проверить живой URL, и что это говорит вам

Страница, работающая в вашем браузере, не имеет доступа к заголовкам ответа запроса к другому источнику. Это не ошибка, а политика одного происхождения, и она является причиной, по которой вредоносная страница не может тихо читать вашу веб‑почту. Без Access-Control-Allow-Origin заголовка, предоставляющего разрешение — который не отправляет ни один обычный сайт — заголовки остаются невидимыми для JavaScript.

Таким образом, любой проверщик кодов статуса, который принимает URL и показывает результат, выполняет запрос на сервере. Это легитимный способ создания инструмента. Это также означает, что введённый вами URL, время ввода и ваш IP где‑то записываются в журнал, а на тестовом домене или незапущенной странице это реальная утечка. Эта страница декодирует то, что вы вставляете, и никогда не делает запрос. Это более простой инструмент, которым можно пользоваться для любого ресурса.

Коды, которые действительно влияют на поведение Google

• 200 без полезного содержимого. Страница «нет результатов», пустая категория, мягкая ошибка — всё это ответы с кодом 200, и Google классифицирует их как soft 404 и всё равно игнорирует. Код и содержимое должны совпадать.
• 403, возвращаемый только для краулеров. Ваш браузер получает страницу, Googlebot получает отказ, и страница исчезает без воспроизводимой ошибки. По умолчанию защита от ботов обычно является причиной. Это самая недооценённая техническая проблема SEO.
• 503 для обслуживания. Единственный 5xx, который можно использовать намеренно. С Retry-After заголовком он сообщает Google вернуться позже, а не переоценивать страницу. Ошибка — размещать страницу обслуживания с кодом 200.
• 429 при высокой нагрузке. Googlebot воспринимает это как сигнал отступить и продолжает отступать. Ограничитель запросов, не освобождающий проверенных краулеров, может стоить крупному сайту значительную часть индекса.
• 410 вместо 404. Скорее удаление и меньше повторных запросов. Стоит использовать, когда вы сознательно выводите раздел из эксплуатации, но не имеет смысла внедрять на всём сайте.

Что вам говорят заголовки вокруг кода статуса

Код — это заголовок, а не содержание. An X-Robots-Tag: noindex на 200 означает, что страница в порядке, но всё равно не будет проиндексирована — и поскольку это заголовок, а не тег, он невидим в view-source и большинству расширений браузера. A Link: <…>; rel="canonical" заголовок выполняет ту же функцию, что и HTML‑тег, и выигрывает споры, о которых вы даже не подозревали. Vary: User-Agent сообщает, что вы отдаёте разный контент разным клиентам, что допустимо для мобильного динамического обслуживания, но является тревожным сигналом в остальных случаях. Всё это находится в дампе заголовков и отсутствует в самой странице.

Корректный захват заголовков

curl -I https://example.com/ даёт вам один ответ. curl -IL следует перенаправлениям и выводит каждый переход, так вы находите цепочку. Добавьте -A "Googlebot" и сравните — если они отличаются, вы нашли проблему, хотя имейте в виду, что хороший сервис защиты от ботов проверяет обратный DNS и не будет обманут только строкой user-agent. В DevTools на вкладке Network заголовки ответа дают то же самое для уже открытой страницы, включая cookies.