Генератор llms.txt
Создайте корректный llms.txt в браузере — название сайта, однострочное резюме и страницы, которые вы хотите читать первыми, в желаемом порядке.
Ничего, что вы вводите здесь, не загружается, не сохраняется и не отправляется куда-либо. Всё работает в вашем браузере.
Что такое llms.txt и чего это не является
llms.txt — это конвенция, предложенная Джереми Ховардом в сентябре 2024 года: markdown‑файл в корне вашего домена, который сообщает языковой модели, что это за сайт и какие страницы читать. Формат умышленно небольшой — заголовок H1 с названием сайта, блок‑цитата‑резюме, необязательный текст, затем разделы H2 с markdown‑ссылками, каждая из которых имеет короткое описание после двоеточия.
Вот часть, которую большинство страниц, рекламирующих это, опускают. Это предложение, а не стандарт. Он действительно используется на сайтах документации — несколько крупных платформ для разработчиков автоматически генерируют его — и на момент написания ни один крупный поставщик ИИ публично не подтвердил, что они его читают. Google публично заявила, что не использует его. Поэтому любые утверждения о том, что llms.txt делает вас цитируемыми, следует рассматривать как маркетинг, включая если вы читаете это на странице вроде этой.
Честный аргумент в пользу публикации — это займет лишь полдня, не принесёт вреда, а процесс написания заставит вас ответить «какие десять страниц действительно важны здесь» способом, которого большинство сайтов не используют. Если внедрение произойдёт, вы будете готовы; если нет — вы потеряете совсем немного.
Файл, который важнее и уже работает
Все в llms.txt — это подсказка, что когда‑то кто‑то может её прочитать. Ваш robots.txt читается сегодня каждым краулером, который его уважает, и определяет, может ли поисковый движок вообще увидеть страницу. Если вы тратите усилия на то, чтобы быть читаемым для ИИ, сначала делайте это там — Проверка AI‑краулера показывает вам бот за ботом, что вы сейчас разрешаете, и часто оказывается, что вы блокируете краулер, генерирующий цитаты, позволяя при этом тому, который только обучается.
Как выбрать, что включать
- Пишите описания для машины без времени. Описание определяет, будет ли ссылка открыта. "Pricing" ничего не говорит; "Retainer tiers, what is included at each, and the minimum term" указывает, когда её открывать.
- Порядок — это сигнал. В файле нет ранжирования, кроме порядка, в котором вы пишете. Поместите страницу, которую вы бы показали незнакомцу, первой.
- Используйте Optional для желательных элементов. Это единственное название раздела с определённым смыслом: контент, который модель может опустить при ограниченном контексте. Ваша страница "About" относится к этому разделу. Ваши цены — нет.
- Ссылайтесь на чистые страницы. URL в llms.txt, который перенаправляет или отображает содержимое только через JavaScript, тратит единственное, для чего предназначен файл.
Куда помещать
Сохранить как llms.txt в корне домена, обслуживается как text/plain или text/markdown, поэтому он разрешается в https://yourdomain.com/llms.txt. Нет необходимости ссылаться на него откуда‑нибудь ещё; принято, что он находится по своему расположению. Если вы также публикуете llms-full.txt, это размещается рядом с ним.
Вопросы, которые задают люди
Действительно ли ChatGPT или Claude читают llms.txt?
Ни один провайдер публично не подтвердил, что делает это, и Google заявила, что нет. Любой, кто говорит иначе, лишь угадывает. Публикуйте его, потому что это дешево и потому, что его написание проясняет ваш собственный сайт, а не потому, что вам обещали результат.
Является ли llms.txt заменой sitemap?
Нет. Sitemap — это машинно‑читаемый список всех индексируемых URL‑адресов для краулеров, и это реальный стандарт. llms.txt — это короткий отобранный список для чтения с описаниями, предназначенный для модели с ограниченным контекстом. Сохраняйте sitemap.
Что такое llms-full.txt?
Тот же принцип, но содержимое включено непосредственно, а не связано: один длинный markdown‑файл, содержащий фактический текст страниц, чтобы модель могла прочитать весь сайт за один запрос. Это подходит для документации и небольших сайтов. На большом сайте такой файл никто не поддерживает, что хуже, чем его отсутствие.
Позволяет ли публикация llms.txt компаниям ИИ обучать модели на моём сайте?
Это не влияет на это в любом случае. Доступ к обучению регулируется вашим robots.txt и лицензией вашего контента. Если вы хотите разрешить некоторые краулеры и заблокировать другие, сгенерируйте правила с помощью AI Crawler Control Generator — llms.txt не является файлом разрешений.
Нужно ли мне поддерживать его в актуальном состоянии?
Если он устарел, это хуже, чем его отсутствие, потому что он направляет читателя на страницы, которые больше не соответствуют тому, что вы им указали. Относитесь к нему как к навигации в подвале: достаточно небольшим, чтобы его можно было проверять каждый раз при изменении структуры сайта, и не дольше, чем вы готовы поддерживать.
Связанные инструменты
Файл, перечисляющий ваши лучшие страницы, хорош только настолько, насколько хороши сами страницы
llms.txt указывает на вашу работу. Стоит ли указывать именно её и согласуется ли это с другими ресурсами в сети — в этом я вам помогу.