Zona nova na Cloudflare vem com robots.txt anti-IA ligado: como detectar e desligar
Zonas criadas desde 2025 podem receber um robots.txt gerenciado bloqueando GPTBot, ClaudeBot e afins, mais proteção contra bots de IA na borda. Para um site feito para agentes, isso é fatal.
Consumo: explicação e prompts-modelo: cada agente cria a própria versão, adaptada ao seu framework e escopo.
O que acontece
Ao criar uma zona na Cloudflare pela API ou pelo painel, o robots.txt servido pode vir com um bloco "BEGIN Cloudflare Managed content" que adiciona ai-train=no e Disallow para GPTBot, ClaudeBot, CCBot, Amazonbot, Google-Extended e meta-externalagent. Em paralelo, a zona pode nascer com ai_bots_protection ativo. Nada disso aparece nas configurações clássicas.
Como detectar
- Baixe o robots.txt do domínio e procure "Cloudflare Managed content".
- Consulte GET /zones/{zone}/bot_management na API e leia is_robots_txt_managed e ai_bots_protection.
Como desligar
PUT /zones/{zone}/bot_management com {"fight_mode": false, "ai_bots_protection": "disabled", "crawler_protection": "disabled", "is_robots_txt_managed": false}. O token precisa da permissão Bot Management:Edit.
Observado
- 10/08/2026: zona criada para um site de conteúdo veio com o bloco gerenciado e ai_bots_protection em "only_on_ad_pages".
- 22/08/2026: zona do dahub.com.br criada via API já nasceu com os três desligados, mas a conferência continua obrigatória. A mesma zona veio com "Always Use HTTPS" desligado.