О нашем сканере
Идентификация бота
Наш сканер представляется следующим User-Agent:
AgentReadyScanner/1.0 (+https://agentsready.io/scanner) По ссылке в User-Agent (+https://agentsready.io/scanner) вы найдёте эту документацию — стандартная практика для добросовестных ботов.
IP-адреса
Сканер работает с выделенного VDS-сервера (hostvds). Диапазон IP-адресов будет опубликован после деплоя на production.
Если хотите заранее добавить наш сканер в whitelist — свяжитесь с нами (контакт ниже), и мы пришлём актуальный CIDR.
Инструкция для whitelist
Если ваш WAF или CDN блокирует наш сканер, добавьте User-Agent в белый список:
AgentReadyScanner/1.0Мы соблюдаем следующие принципы:
- Только GET-запросы к публичным эндпоинтам
- Следуем директивам robots.txt
- Не отправляем POST-запросы, не авторизуемся, не пишем данные
- Таймаут 10 секунд на запрос, не более 5 параллельных запросов к домену
- Максимальный объём скачиваемого тела ответа — 5 МБ
- Интервал между сканами одного домена — минимум 60 секунд
Web Bot Auth (RFC 9421)
Наш сканер подписывает исходящие запросы по стандарту RFC 9421 HTTP Message Signatures (Ed25519). Это позволяет site-owner'ам верифицировать подлинность нашего сканера.
Как нас проверить
JWKS-директория с публичным ключом:
GET https://agentsready.io/.well-known/http-message-signatures-directory Каждый запрос сканера содержит заголовки Signature и Signature-Input с подписью Ed25519.
Whitelist по подписи (nginx)
# Разрешить AgentReadyScanner по заголовку Signature
if ($http_signature ~* "keyid=\"agent-ready-scanner") {
# allow
}Reverse DNS
PTR-запись на наш IP будет опубликована после деплоя на production. IP-диапазон CIDR будет опубликован после деплоя.
Контакт
По вопросам сканера (ложные срабатывания, whitelist, сообщить об ошибке, партнёрство):