Проверщик схожести текста
Оцените два текста тремя способами — косинус по частотам терминов, индекс Жаккара по словарному запасу и самая длинная общая фраза — и узнайте, какая метрика расходится с другими и что это означает.
Ничего, что вы вводите, не загружается, не сохраняется и не отправляется куда-либо. Всё работает в вашем браузере.
Три метрики, потому что одно число обманчиво
Один процент схожести скрывает то, что вам действительно нужно знать. Эти три метрики расходятся друг с другом полезным образом, и именно это несоответствие стоит изучать.
- Косинусная схожесть по векторам частот терминов. Каждый текст превращается в вектор частот слов; оценка — косинус угла между ними. Это примерно пропорции — два текста, использующие одни и те же слова в одинаковых пропорциях, получают высокий балл, даже если один в три раза длиннее. По своей природе нечувствителен к длине, что обычно и требуется.
- Индекс Жаккара по множествам токенов. Количество уникальных слов, встречающихся в обоих текстах, делённое на количество уникальных слов в любом из них. Не учитывает частоту появления слов, а только наличие пересечения словарного запаса. Сильно штрафует различие в длине: в длинном тексте больше уникальных слов, что увеличивает знаменатель независимо от содержания.
- Самая длинная общая фраза. Самый длинный непрерывный набор одинаковых слов. Не выражается в процентах и не зависит от длины — отвечает на вопрос «было ли это скопировано, а не переписано», и именно его следует проверять в первую очередь, когда переписанный текст появился подозрительно быстро.
Анализ расхождений
Интересные случаи — когда цифры расходятся, и названия инструментов показывают, в какой ситуации вы находитесь.
Косинус высокий, Джаккард низкий. Общие слова несут большую часть веса в обоих текстах, но один из них содержит много дополнительной лексики, которой нет у другого. Обычно это разница в длине: короткий отрывок и длинная статья, в которую он был расширен.
Джаккард высокий, косинус низкий. Почти одинаковый список слов, но использованный в очень разных пропорциях. Обычно один текст постоянно повторяет термин, а другой упоминает его один раз. Это типичный шаблон, когда кто‑то "оптимизировал" черновик, повторяя ключевое слово.
Оба высоки, длинная общая фраза. Отрывки были использованы дословно. Для двух страниц на одном сайте перейдите к проверка дублирующего контента, который покажет вам точно, какие отрывки, и выделит их в обоих.
Оба высоки, короткая общая фраза. Одна и та же тема, одинаковый словарный запас, разные предложения. Это выглядит как подлинный переписанный текст, и это результат, который вы хотите, когда просите кого‑то переписать материал, а не просто "спинить" его.
Этот инструмент или проверка дублирующего контента?
Используйте этот, когда вопрос состоит в "насколько этот черновик изменился" — проверка переписанного текста, сравнение двух версий страницы во времени, проверка, изменил ли правка что‑либо. Оценивает весь оба текста.
Используйте проверка дублирующего контента когда вопрос состоит в "будут ли эти две страницы конкурировать в поиске". Он ищет общие отрывки, а не оценивает весь текст, выделяет их в обоих текстах, чтобы вы знали, что переписать, а сопроводительный текст объясняет, что дублирующий контент стоит и чего не стоит.
Одна вещь, которой они оба не делают: оценка качества. Переписанный текст может получить именно те оценки, которые вы ожидали по всем трем показателям, и всё равно быть хуже оригинала.
Вопросы, которые задают люди
Какой показатель мне действительно следует смотреть?
Зависит от вопроса. При проверке переписывания: сначала самая длинная общая фраза. При проверке, говорят ли две страницы об одном и том же: cosine. При проверке, сохранил ли перевод или перефразировка субъект: Jaccard. Если у вас только один взгляд, берите cosine — он наименее подвержен обману длиной.
Что считается "different enough" для переписывания?
Для переписывания, которое должно охватывать тот же материал, ожидайте, что cosine останется высоким — вы должны говорить похожие вещи — тогда как самая длинная общая фраза опустится до однозначных цифр. Переписывание с высоким cosine и общей фразой в 25 слов означает, что абзацы лишь перемешаны, а не переписаны.
Почему отключение stop words так сильно меняет оценки?
Потому что stop words составляют большую часть любого английского текста и встречаются везде. Оставляя их, вы поднимаете каждое сравнение и сжимаете диапазон, из‑за чего два несвязанных текста выглядят на 40% похожими. По умолчанию они отключены именно по этой причине; включайте их только при сравнении стиля письма, а не темы.
Определяет ли это AI‑текст?
Нет, и ничего надёжно не делает. Инструмент сравнивает два предоставленных вами текста друг с другом. Если хотите узнать, создал ли автор оригинальный материал, сравните его черновик с источниками, которые ему были даны — на такой вопрос он может ответить.
Загружается ли мой текст куда‑либо?
Нет. Оба текста остаются в вашем браузере; на этой странице нет backend и никаких сетевых запросов. Это особенно важно для данного инструмента, потому что сравниваемые тексты часто не опубликованы.
Связанные инструменты
Лучший черновик не гарантирует лучшего ранжирования.
Переписывание страницы стоит делать. Оно перемещает страницу, уже находившуюся близко к цели. Перемещение страницы, находящейся далеко, требует ссылок.