Cómo permitir los crawlers de IA (y cuáles puedes bloquear)

Si los crawlers de IA no pueden leer tu sitio, no apareces en sus respuestas. Es el error más común y silencioso de GEO: muchos sitios bloquean estos bots sin saberlo, a veces por una opción activada por defecto en su CDN.

Los que deciden si apareces

Según la documentación de cada empresa, estos son los que importan para salir en las respuestas:

• Googlebot (Google): alimenta la búsqueda de Google y sus respuestas con IA, AI Overviews y AI Mode.
• OAI-SearchBot (OpenAI): la búsqueda de ChatGPT. Si lo bloqueas, no te muestra en sus respuestas con búsqueda.
• PerplexityBot (Perplexity): los resultados de Perplexity.
• Claude-SearchBot y Claude-User (Anthropic): la búsqueda de Claude y las páginas que consulta cuando un usuario se lo pide.

Los que solo entrenan modelos

GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google) y Applebot-Extended (Apple) recogen contenido para entrenar modelos. Bloquearlos es una decisión legítima —por ejemplo, si vives de contenido de suscripción— y no te saca de las respuestas. Google lo dice textualmente: Google-Extended no afecta la inclusión de un sitio en su buscador.

Paso 1: revisa tu robots.txt

Abre https://tudominio.com/robots.txt y busca reglas como:

User-agent: OAI-SearchBot
Disallow: /

Si las hay para los bots que quieres permitir, quítalas o cámbialas a Allow: /. Para permitir a todos, basta con un User-agent: * con Allow: / y no disallow específicos.

Paso 2: revisa tu CDN (esto es lo que casi nadie revisa)

Cloudflare y otros CDN incluyen funciones tipo "Block AI bots" que devuelven 403 a los crawlers de IA a nivel de borde, sin importar tu robots.txt. Si usas Cloudflare, revisa Security → Bots / AI Crawl Control y permite los crawlers que quieras. También verifica que "Manage robots.txt" no esté sobrescribiendo tu archivo.

Paso 3: verifica

Comprueba que un crawler de IA recibe 200 (no 403) y que tu robots.txt es el que tú controlas. AEON42 revisa automáticamente la política de crawlers de IA de tu sitio (permitido / bloqueado / no verificable) y te avisa. Ver planes · o lee qué es GEO.