Índice de rastreadores de IA

Índice de rastreadores de IA

Los rastreadores que las empresas de IA envían a tu web, para qué sirve cada uno y si respeta robots.txt. Todos los datos salen de la documentación del propio operador, revisada en octubre de 2026.

Todos los rastreadores de IA

RastreadorOperadorFinalidadRespeta robots.txt
Claude-SearchBot Anthropic Búsqueda con IA Sí
DuckAssistBot DuckDuckGo Búsqueda con IA Sí
meta-webindexer Meta Búsqueda con IA Sí
OAI-SearchBot OpenAI Búsqueda con IA Sí
PerplexityBot Perplexity Búsqueda con IA Sí
YouBot You.com Búsqueda con IA Sí
ChatGPT-User OpenAI Visita a petición del usuario No siempre
Claude-User Anthropic Visita a petición del usuario Sí
meta-externalfetcher Meta Visita a petición del usuario No siempre
MistralAI-User Mistral AI Visita a petición del usuario Sí
Perplexity-User Perplexity Visita a petición del usuario No siempre
Amazonbot Amazon Entrenamiento de IA Sí
CCBot Common Crawl Entrenamiento de IA Sí
ClaudeBot Anthropic Entrenamiento de IA Sí
GPTBot OpenAI Entrenamiento de IA Sí
meta-externalagent Meta Entrenamiento de IA Sí
Applebot-Extended Apple Token de control en robots.txt Sí
Google-Extended Google Token de control en robots.txt Sí
Amzn-SearchBot Amazon Buscador Sí
Applebot Apple Buscador Sí
Baiduspider Baidu Buscador Sí
Bingbot Microsoft Buscador Sí
DuckDuckBot DuckDuckGo Buscador Sí
Googlebot Google Buscador Sí
PetalBot Huawei Buscador Sí
YandexBot Yandex Buscador Sí
facebookexternalhit Meta Vista previa de enlaces No siempre
Bytespider ByteDance Otro o sin declarar Sin documentar
Google-CloudVertexBot Google Otro o sin declarar Sí
GoogleOther Google Otro o sin declarar Sí

Cuatro tipos de rastreador de IA

  • Los rastreadores de búsqueda con IA construyen el índice del que cita un asistente (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Si los bloqueas, puedes desaparecer de esas respuestas.
  • Los de visita a petición del usuario solo leen una página cuando un usuario lo pide (ChatGPT-User, Claude-User, Perplexity-User). Algunos operadores dicen que robots.txt puede no aplicarse.
  • Los de entrenamiento recogen páginas que pueden entrenar modelos (GPTBot, ClaudeBot, CCBot). Bloquearlos deja tu contenido futuro fuera del entrenamiento, no de la búsqueda.
  • Los tokens de control no tienen rastreador propio (Google-Extended, Applebot-Extended): deciden cómo se usan para IA los datos del rastreador de búsqueda principal.

Plantillas de robots.txt

Estar en la búsqueda con IA, no en el entrenamiento

Permite los rastreadores que te llevan a las respuestas de IA y bloquea los que solo recogen datos de entrenamiento. Es la configuración que elige la mayoría de marcas que quieren visibilidad en IA.

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-externalfetcher
User-agent: meta-webindexer
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: YouBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

Bloquear todos los rastreadores de IA

Deja fuera a los rastreadores de IA sin tocar buscadores como Googlebot y Bingbot. Cuenta con perder citas en las respuestas de ChatGPT, Claude y Perplexity.

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-externalfetcher
User-agent: meta-webindexer
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: YouBot
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

Pega la plantilla en tu robots.txt y pruébala con el probador de robots.txt. Los rastreadores a petición del usuario que ignoran robots.txt necesitan además una regla de cortafuegos.

¿Qué rastreadores llegan a tu web?

El comprobador de rastreadores de IA gratuito lee tu robots.txt y pide tu página como cada rastreador. El analizador de logs muestra cuáles te visitan de verdad y qué piden. ¿Empiezas de cero? Lee qué son los rastreadores de IA.

Lo que dicen nuestros datos sobre qué tipo de rastreadores de IA bloquean las webs

Cifras que hemos medido en respuestas de IA y webs reales. Cada una enlaza a su estudio, con el método, la muestra y la fecha.

  • 17,7 %

    El 17,7 % de las webs que más cita la IA en España bloquea al menos un rastreador de entrenamiento de IA, frente al 8,8 % que bloquea alguno de búsqueda con IA.
    Muestra: 678 webs que la IA cita para tres o más de 43 marcas en España. Fuente: Mencoro (noviembre de 2026), en ¿Qué rastreadores de IA dejan entrar las webs que cita la IA?

  • 6,6 %

    El 6,6 % de estas webs bloquea algún rastreador que visita páginas cuando lo pide un usuario, como ChatGPT-User o Claude-User.
    Muestra: 678 webs que la IA cita para tres o más de 43 marcas en España. Fuente: Mencoro (noviembre de 2026), en ¿Qué rastreadores de IA dejan entrar las webs que cita la IA?

  • 8,8 %

    El 8,8 % de estas webs se excluye del entrenamiento de la IA de Google con Google-Extended, mientras que el 0,3 % bloquea a Googlebot.
    Muestra: 678 webs que la IA cita para tres o más de 43 marcas en España. Fuente: Mencoro (noviembre de 2026), en ¿Qué rastreadores de IA dejan entrar las webs que cita la IA?

Empieza hoy a medir tu marca en los buscadores con IA

Controla cómo citan tu marca los motores de IA, sigue tus posiciones y compárate con la competencia, todo en una sola plataforma.