User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Disallow: /go/
Disallow: /lead.php
Allow: /llms.txt
Allow: /llm.txt
Allow: /agent.md
Allow: /auth.md
Allow: /openapi.json

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: DuckAssistBot
Allow: /

# Краулеры SEO-сервисов: трафика не дают, а обход в 35 тыс. адресов оплачиваем мы.
# Поисковики и AI-краулеры выше остаются открытыми.
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: serpstatbot
Disallow: /

User-agent: ZoominfoBot
Disallow: /

User-agent: SeekportBot
Disallow: /

Sitemap: https://dokymentmsk.ru/sitemap.xml