Índice de rastreadores de IA
Índice de rastreadores de IA
Los rastreadores que las empresas de IA envían a tu web, para qué sirve cada uno y si respeta robots.txt. Todos los datos salen de la documentación del propio operador, revisada el 1 de octubre de 2026.
Todos los rastreadores de IA
| Rastreador | Operador | Finalidad | Respeta robots.txt |
|---|---|---|---|
| Claude-SearchBot | Anthropic | Búsqueda con IA | Sí |
| DuckAssistBot | DuckDuckGo | Búsqueda con IA | Sí |
| OAI-SearchBot | OpenAI | Búsqueda con IA | Sí |
| PerplexityBot | Perplexity | Búsqueda con IA | Sí |
| YouBot | You.com | Búsqueda con IA | Sí |
| ChatGPT-User | OpenAI | Visita a petición del usuario | No siempre |
| Claude-User | Anthropic | Visita a petición del usuario | Sí |
| meta-externalfetcher | Meta | Visita a petición del usuario | No siempre |
| MistralAI-User | Mistral AI | Visita a petición del usuario | Sí |
| Perplexity-User | Perplexity | Visita a petición del usuario | No siempre |
| Amazonbot | Amazon | Entrenamiento de IA | Sí |
| CCBot | Common Crawl | Entrenamiento de IA | Sí |
| ClaudeBot | Anthropic | Entrenamiento de IA | Sí |
| GPTBot | OpenAI | Entrenamiento de IA | Sí |
| meta-externalagent | Meta | Entrenamiento de IA | Sí |
| Applebot-Extended | Apple | Token de control en robots.txt | Sí |
| Google-Extended | Token de control en robots.txt | Sí | |
| Applebot | Apple | Buscador | Sí |
| Bingbot | Microsoft | Buscador | Sí |
| Googlebot | Buscador | Sí | |
| PetalBot | Huawei | Buscador | Sí |
| Bytespider | ByteDance | Otro o sin declarar | Sin documentar |
| GoogleOther | Otro o sin declarar | Sí |
Cuatro tipos de rastreador de IA
- Los rastreadores de búsqueda con IA construyen el índice del que cita un asistente (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Si los bloqueas, puedes desaparecer de esas respuestas.
- Los de visita a petición del usuario solo leen una página cuando un usuario lo pide (ChatGPT-User, Claude-User, Perplexity-User). Algunos operadores dicen que robots.txt puede no aplicarse.
- Los de entrenamiento recogen páginas que pueden entrenar modelos (GPTBot, ClaudeBot, CCBot). Bloquearlos deja tu contenido futuro fuera del entrenamiento, no de la búsqueda.
- Los tokens de control no tienen rastreador propio (Google-Extended, Applebot-Extended): deciden cómo se usan para IA los datos del rastreador de búsqueda principal.
Plantillas de robots.txt
Estar en la búsqueda con IA, no en el entrenamiento
Permite los rastreadores que te llevan a las respuestas de IA y bloquea los que solo recogen datos de entrenamiento. Es la configuración que elige la mayoría de marcas que quieren visibilidad en IA.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-externalfetcher
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
Disallow: /Bloquear todos los rastreadores de IA
Deja fuera a los rastreadores de IA sin tocar buscadores como Googlebot y Bingbot. Cuenta con perder citas en las respuestas de ChatGPT, Claude y Perplexity.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-externalfetcher
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: YouBot
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
Disallow: /Pega la plantilla en tu robots.txt y pruébala con el probador de robots.txt. Los rastreadores a petición del usuario que ignoran robots.txt necesitan además una regla de cortafuegos.
¿Qué rastreadores llegan a tu web?
El comprobador de rastreadores de IA gratuito lee tu robots.txt y pide tu página como cada rastreador. El analizador de logs muestra cuáles te visitan de verdad y qué piden. ¿Empiezas de cero? Lee qué son los rastreadores de IA.
Empieza hoy a medir tu marca en los buscadores con IA
Controla cómo citan tu marca los motores de IA, sigue tus posiciones y compárate con la competencia, todo en una sola plataforma.