Cómo permitir los crawlers de IA (GPTBot, ClaudeBot, Google-Extended)

Si los crawlers de IA no pueden leer tu sitio, no apareces en sus respuestas. Es el error más común y silencioso de GEO: muchos sitios bloquean estos bots sin saberlo, a veces por una opción activada por defecto en su CDN.

Los crawlers de IA que importan

• GPTBot (OpenAI) · OAI-SearchBot / ChatGPT-User (búsqueda en vivo de ChatGPT).
• ClaudeBot (Anthropic).
• PerplexityBot (Perplexity).
• Google-Extended (entrenamiento y funciones de IA de Google, incluidos AI Overviews y Gemini).

Paso 1: revisa tu robots.txt

Abre https://tudominio.com/robots.txt y busca reglas como:

User-agent: GPTBot
Disallow: /

Si las hay para los bots que quieres permitir, quítalas o cámbialas a Allow: /. Para permitir a todos, basta con un User-agent: * con Allow: / y no disallow específicos.

Paso 2: revisa tu CDN (esto es lo que casi nadie revisa)

Cloudflare y otros CDN incluyen funciones tipo "Block AI bots" que devuelven 403 a los crawlers de IA a nivel de borde, sin importar tu robots.txt. Si usas Cloudflare, revisa Security → Bots / AI Crawl Control y permite los crawlers que quieras. También verifica que "Manage robots.txt" no esté sobrescribiendo tu archivo.

Paso 3: verifica

Comprueba que un crawler de IA recibe 200 (no 403) y que tu robots.txt es el que tú controlas. AEON42 revisa automáticamente la política de crawlers de IA de tu sitio (permitido / bloqueado / no verificable) y te avisa. Ver planes · o lee qué es GEO.