Bot Access Control
AI Bot Rules
Явные разрешения для AI-краулеров (GPTBot, ClaudeBot, PerplexityBot) в robots.txt.
Что такое AI Bot Rules?
AI Bot Rules — секции в robots.txt, явно описывающие правила доступа для AI-краулеров крупных платформ. Каждая AI-компания использует собственный User-Agent.
Актуальные AI User-Agents:
| User-Agent | Платформа |
|---|---|
GPTBot, ChatGPT-User, OAI-SearchBot | OpenAI (ChatGPT) |
ClaudeBot, Claude-Web, anthropic-ai | Anthropic (Claude) |
PerplexityBot, Perplexity-User | Perplexity AI |
Google-Extended | Google AI Overview / Gemini |
Applebot-Extended | Apple AI |
YandexAdditional | Яндекс |
Зачем сайту AI Bot Rules?
По умолчанию AI-боты следуют общему правилу User-agent: *. Явные секции дают три преимущества:
- Гарантируют доступ даже если
*ограничен или закрыт - Позволяют давать AI-ботам специфические разрешения (например,
/blog/открыт,/api/private/закрыт) - Фиксируют намерения — явный сигнал доверия для AI-платформ
Как настроить AI Bot Rules?
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: YandexAdditional
Allow: /Добавьте эти секции в robots.txt после основного блока User-agent: *.
Как мы проверяем AI Bot Rules?
Проверка зависит от robots_txt — данные берутся из кеша первой проверки.
Сканер ищет в файле секции для известных AI User-Agents: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-Web, anthropic-ai, PerplexityBot, Perplexity-User, Google-Extended, Applebot-Extended, YandexAdditional, CCBot, Bytespider, FacebookBot.
Градиент результата:
- pass (1.0) — найдено 3 и более AI-специфичных секций
- warning (0.5) — найдено 1–2 AI-специфичных секции
- fail (0.0) — только
User-agent: *без AI-специфичных секций или нет ничего
Если robots.txt недоступен или невалиден — проверка получает статус skipped.