Saltar al contenido
HostingCompara

GEO e IA

Los tokens de robots.txt para bots de IA que casi todo el mundo escribe mal

Publicado el 24 de julio de 2026 · Actualizado el 5 de agosto de 2026

Por Rubén Ortega · 12 años en soporte técnico y preventa de empresas de hosting (Abansys, Arsys, Nominalia) · Declaración de vínculos

📌 Datos clave

Token que sirve las citas de ChatGPT
OAI-SearchBot
Token de entrenamiento de OpenAI
GPTBot
Token de Google para IA
Google-Extended: entrena Gemini, no controla AI Overviews
Error más frecuente
Nombrar solo GPTBot y creer que cubre ChatGPT

Respuesta rápida

GPTBot no es el bot que te trae visitas desde ChatGPT. Sirve para recopilar contenido de entrenamiento. Los que importan para el tráfico son OAI-SearchBot (el que alimenta las citas) y ChatGPT-User (el que entra cuando un usuario pide navegar una URL).

Es un error muy extendido, y tiene una consecuencia concreta: si permites GPTBot y no nombras a los otros dos, has abierto la puerta al entrenamiento —de lo que no obtienes visitas— y no has dicho nada sobre el canal que sí las genera.

Por qué pasa esto

GPTBot fue el primero en anunciarse y el que más cobertura tuvo. Cuando OpenAI separó funciones y publicó OAI-SearchBot y ChatGPT-User, buena parte de los robots.txt ya estaban escritos y nadie volvió a tocarlos.

El resultado es fácil de comprobar: muchos sitios tienen reglas explícitas para el bot que no les aporta tráfico y ninguna para los dos que sí.

Los tres errores que se repiten

1. Confundir entrenamiento con citación

Token Para qué es ¿Te trae visitas?
GPTBot Entrenamiento de modelos de OpenAI No
OAI-SearchBot Las citas que ChatGPT muestra al responder Sí
ChatGPT-User Cuando un usuario pide navegar una URL concreta Sí

Son decisiones independientes. Puedes negar el entrenamiento y permitir las citas: son tokens distintos y se controlan por separado.

2. Inventarse el token de Google

El token correcto es Google-Extended: con guion, y sin la palabra «Bot» al final.

Pero ojo con lo que controla, porque es el malentendido más extendido: Google-Extended no decide si apareces en las AI Overviews ni en AI Mode. Controla si tu contenido se usa para entrenar Gemini y para el grounding en las aplicaciones de Gemini y Vertex AI. La documentación de Google lo dice con todas las letras: «no afecta a la inclusión de un sitio en Google Search ni se usa como señal de posicionamiento».

Si lo que quieres es salir de las AI Overviews, Google-Extended no sirve: eso se controla desde los ajustes de vista previa y desde Search Console.

User-agent: GoogleExtendedBot     ← no existe, no hace nada
User-agent: Google-Extended       ← correcto

Un token mal escrito no da error en ningún sitio. Simplemente no coincide con nada, y la regla se queda ahí durante meses sin efecto. Es un fallo silencioso, que es el peor tipo.

3. Nombrar solo a OpenAI

Perplexity, Claude y el resto tienen sus propios tokens. Un robots.txt que solo menciona a OpenAI deja al resto bajo la regla genérica, que casi nunca es lo que se pretendía.

Lista verificada

Bloque de ejemplo permitiendo el acceso. Si quieres denegar alguno, cambia Allow por Disallow en ese token concreto:

# ── OpenAI ─────────────────────────────────────────
# GPTBot = entrenamiento. Los otros dos son los que traen visitas.
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Nuevo en 2026: valida páginas para los anuncios de ChatGPT.
User-agent: OAI-AdsBot
Allow: /

# ── Anthropic (Claude) ─────────────────────────────
User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: anthropic-ai
Allow: /

# ── Google ─────────────────────────────────────────
# 'Google-Extended' controla el entrenamiento de Gemini, NO las AI Overviews.
User-agent: Google-Extended
Allow: /

# ── Perplexity ─────────────────────────────────────
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# ── Otros ──────────────────────────────────────────
User-agent: Applebot-Extended
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: MistralAI-User
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

User-agent: Bytespider
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: AI2Bot
Allow: /

User-agent: CCBot
Allow: /

Dos notas sobre esta lista:

terceros. Es una decisión distinta a las demás y conviene tomarla aparte.

justo, es el primer candidato a limitar.

Permitir el acceso es solo el primer paso: cómo conseguir que ChatGPT cite tu web explica lo que de verdad decide la citación.

Lo que robots.txt no hace

Tres límites que conviene tener claros:

  1. Es una petición, no un muro. Los rastreadores serios lo respetan; un scraper cualquiera lo ignora. Si necesitas bloquear de verdad, es cosa del servidor o del firewall.
  2. Permitir no es aparecer. Que puedan entrar no significa que te citen. Ahí ya entra si tienes datos que merezca la pena citar.
  3. Los tokens cambian. Aparecen nuevos y algunos se renombran. Revísalo cada pocos meses; por eso esta página lleva fecha de verificación.

Cómo comprobar que funciona

  1. Abre tudominio.com/robots.txt y comprueba que sale lo que esperas, sin duplicados. En WordPress, varios plugins de SEO generan robots.txt dinámicamente y pueden pisar tus reglas.
  2. Busca los tokens en los logs de acceso del servidor. Ahí se ve qué bots pasan de verdad y con qué frecuencia:
grep -iE "OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | tail -50

Los logs son la única comprobación concluyente. Todo lo demás es suposición.

Preguntas frecuentes

¿Cuál es la diferencia entre GPTBot y OAI-SearchBot?

GPTBot recopila contenido para entrenar los modelos de OpenAI. OAI-SearchBot es el que alimenta las citas que ChatGPT muestra al responder. Si solo permites GPTBot, abres el entrenamiento y dejas sin especificar el canal que trae visitas.

¿Existe GoogleExtendedBot?

No. El token correcto es Google-Extended, con guion y sin «Bot». Escrito de la otra forma, la regla no coincide con nada.

¿Bloquear Google-Extended me saca de las AI Overviews?

No. Solo controla el entrenamiento de Gemini y el grounding en sus aplicaciones. La propia documentación de Google dice que no afecta a la inclusión en Google Search. Es el malentendido más repetido sobre este token.

¿Bloquear GPTBot evita que ChatGPT me cite?

No directamente. GPTBot es entrenamiento; quien sirve las citas es OAI-SearchBot. Puedes bloquear uno y permitir el otro.

¿Merece la pena bloquear el entrenamiento?

Depende de qué publiques. Si vives de que te citen, bloquear el entrenamiento y permitir la citación es una postura coherente. Si tu contenido es tu producto, la decisión es otra.

Tokens verificados el 24 de julio de 2026 en la documentación pública de cada proveedor. La aclaración sobre Google-Extended procede de la documentación de rastreadores de Google, que afirma literalmente que «no afecta a la inclusión de un sitio en Google Search». Esta lista cambia: si la consultas mucho después de esa fecha, contrasta antes de aplicarla.