Проверка дублирующего контента

Штраф за дублирующий контент отсутствует

Это самый упорный миф в SEO, который Google неоднократно опровергал более десяти лет. Публикация двух похожих страниц не вызывает санкций. Ничто не понижается за то, что является копией.

На самом деле происходит более скучное, но в своём роде более плохое, потому что вам никто не сообщает об этом.

• Консолидация. Google выбирает один URL из набора и индексирует его. Остальные исключаются из результатов. Выбранный URL часто не тот, который вы бы выбрали, и любые ссылки, указывающие на отсеянные версии, приносят гораздо меньше пользы, чем если бы они указывали на одну страницу.
• Потраченный впустую crawl. На большом сайте тысячи почти одинаковых URL — фасетная навигация, версии для печати, параметры сессии — расходуют бюджет обхода, который должен идти к страницам, которые вы действительно хотите, чтобы их сканировали. На сайте из пятидесяти страниц это вовсе не имеет значения.
• Разделённые сигналы. Две страницы, получающие половинные позиции по одному запросу вместо одной правильно ранжирующейся страницы. Это вариант, который стоит реальных денег, и обычно он вызван самим владельцем, а не технической ошибкой.

Решение почти никогда не заключается в удалении. Это canonical tag, указывающий дубликаты на нужную версию, или 301, если дубликат не имеет причины существовать, или — для двух страниц, действительно посвящённых разным темам, но выглядящих одинаково — переписать их так, чтобы они действительно отличались.

Как обнаруживается пересечение

Оба текста разбиваются на слова, удаляется пунктуация и приводятся к единому регистру. Каждый фрагмент из последовательных слов — по умолчанию пять — превращается в shingle, а наборы shingle сравниваются. Это стандартный подход к обнаружению почти‑дубликатов, он устойчив к перестановке абзацев, чего не может простой строковый сравниватель.

Оценка — это Jaccard index двух наборов shingle: количество shingle, присутствующих в обоих, делённое на количество shingle в любом из наборов. Containment выводится отдельно, потому что Jaccard штрафует за разницу в длине — 200‑словный отрывок, скопированный дословно в статью из 2 000 слов, получает низкий показатель Jaccard и очень высокий показатель containment, а для задачи плагиата именно показатель containment нужен.

Совпадающие shingle затем используются как семена и расширяются слово за словом, пока оба текста совпадают, что восстанавливает самый длинный общий фрагмент. Поэтому абзац из 40 одинаковых слов отображается как один выделенный отрывок, а не как 36 перекрывающихся пятисловных фрагментов.

Этот инструмент или проверка схожести?

Используйте этот, когда вопрос: "будут ли эти две страницы конкурировать в поиске" — две сервисные страницы для соседних городов, страница категории и её отфильтрованный вариант, статья, которую вы syndicated. Вывод, который вам нужен, — выделенные отрывки, потому что именно их нужно переписать.

Используйте text similarity checker когда вопрос: "насколько этот черновик отличается от того" — проверка переписывания автора, сравнение двух версий страницы, подтверждение, что перевод изменил что‑то при обратном переводе. Он оценивает весь текст тремя разными способами, вместо того чтобы искать скопированные фрагменты.