Сравнение
AI bot rules vs Content Signals: доступ или использование
AI bot rules решают, можно ли боту обходить сайт; Content Signals — можно ли использовать контент для обучения/поиска/ответов. Разные вопросы.
Коротко
Два разных вопроса в одном файле robots.txt: AI bot rules — про доступ
(можно ли обходить), Content Signals — про использование (можно ли обучать,
искать, использовать в AI-ответах). Не выбор — оба.
Что такое каждое
- AI bot rules — секции
User-agentдля конкретных AI-краулеров (GPTBot, ClaudeBot…):Allow/Disallow. Контроль обхода. - Content Signals — директива
Content-Signal(search,ai-input,ai-train). Контроль использования контента.
Сравнение
| AI bot rules | Content Signals | |
|---|---|---|
| Вопрос | Можно ли обходить? | Можно ли использовать? |
| Механизм | User-agent + Allow/Disallow | Content-Signal: ai-train=… |
| Гранулярность | По боту и пути | По типу использования |
Главное различие
Доступ ≠ разрешение. Можно пустить бота (Allow), но запретить обучение
на контенте (ai-train=no). AI bot rules управляют тем, кто заходит; Content
Signals — тем, что можно делать с тем, что прочитали.
Делать оба
Да, и это даёт нюанс: «пускаю GPTBot для поиска и AI-ответов, но не для обучения моделей». Видимость в GEO без отдачи контента в тренировочные датасеты.
Как проверить
Скан парсит и AI-секции, и Content-Signal из robots.txt — обе стороны в одном
отчёте.