# ai-bot-rules

## Что такое AI Bot Rules?

**AI Bot Rules** — секции в [robots.txt](/glossary/robots-txt), явно описывающие правила доступа для AI-краулеров крупных платформ. Каждая AI-компания использует собственный User-Agent.

Актуальные AI User-Agents:

| User-Agent | Платформа |
|---|---|
| `GPTBot`, `ChatGPT-User`, `OAI-SearchBot` | OpenAI (ChatGPT) |
| `ClaudeBot`, `Claude-Web`, `anthropic-ai` | Anthropic (Claude) |
| `PerplexityBot`, `Perplexity-User` | Perplexity AI |
| `Google-Extended` | Google AI Overview / Gemini |
| `Applebot-Extended` | Apple AI |
| `YandexAdditional` | Яндекс |

## Зачем сайту AI Bot Rules?

По умолчанию AI-боты следуют общему правилу `User-agent: *`. Явные секции дают три преимущества:

1. Гарантируют доступ даже если `*` ограничен или закрыт
2. Позволяют давать AI-ботам специфические разрешения (например, `/blog/` открыт, `/api/private/` закрыт)
3. Фиксируют намерения — явный сигнал доверия для AI-платформ

## Как настроить AI Bot Rules?

```
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: YandexAdditional
Allow: /
```

Добавьте эти секции в `robots.txt` после основного блока `User-agent: *`.

## Как мы проверяем AI Bot Rules?

Проверка зависит от `robots_txt` — данные берутся из кеша первой проверки.

Сканер ищет в файле секции для известных AI User-Agents: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-Web, anthropic-ai, PerplexityBot, Perplexity-User, Google-Extended, Applebot-Extended, YandexAdditional, CCBot, Bytespider, FacebookBot.

Градиент результата:
- **pass (1.0)** — найдено 3 и более AI-специфичных секций
- **warning (0.5)** — найдено 1–2 AI-специфичных секции
- **fail (0.0)** — только `User-agent: *` без AI-специфичных секций или нет ничего

Если `robots.txt` недоступен или невалиден — проверка получает статус `skipped`.

[← Все термины глоссария](/glossary)