Índice de rastreadores de IA

¿Qué es ClaudeBot?

ClaudeBot es el rastreador de Anthropic para entrenar IA. Recoge contenido web que puede contribuir a entrenar los modelos de IA generativa de Anthropic.

En resumen

Operador	Anthropic
Finalidad	Entrenamiento de IA
User agent	El operador no lo documenta
Respeta robots.txt	Sí, según el operador
Rangos de IP publicados	https://claude.com/crawling/bots.json
Cómo verificarlo	Anthropic indica que una IP de origen incluida en su lista publicada identifica al rastreador como suyo.
Documentación oficial	https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

¿Conviene bloquear ClaudeBot?

Recoge páginas para entrenar modelos, no para responder preguntas en tiempo real. Bloquearlo deja tu contenido futuro fuera de los datos de entrenamiento de ese operador, pero no te saca de las respuestas de búsqueda con IA, que alimentan otros rastreadores. Bloquéalo si no quieres que tu contenido entre en conjuntos de entrenamiento; permítelo si quieres que los modelos futuros conozcan tu marca.

Bloquearlo deja tu contenido futuro fuera de los datos de entrenamiento de Anthropic. Admite Crawl-delay, y Anthropic desaconseja bloquearlo por IP, porque entonces no puede leer tu robots.txt.

Cómo bloquear o permitir ClaudeBot en robots.txt

Bloquearlo en toda la web:

User-agent: ClaudeBot
Disallow: /

Permitirlo en toda la web:

User-agent: ClaudeBot
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Cómo saber si una visita es realmente de ClaudeBot

Cualquiera puede escribir ClaudeBot en un user agent, así que el user agent por sí solo no demuestra nada. Saca la IP de la petición de los logs de tu servidor y compruébala.

Anthropic publica sus rangos de IP en JSON. Este comando descarga la lista e imprime True si la IP está en ella. Cambia 203.0.113.7 por la IP de tus logs; Python 3 viene instalado en macOS y en la mayoría de sistemas Linux.

curl -s https://claude.com/crawling/bots.json \
  | python3 -c 'import sys, json, ipaddress as ip
a = ip.ip_address(sys.argv[1])
ranges = json.load(sys.stdin)["prefixes"]
print(any(a in ip.ip_network(r.get("ipv4Prefix") or r.get("ipv6Prefix")) for r in ranges))' 203.0.113.7

Otros rastreadores de Anthropic

Claude-SearchBot: Búsqueda con IA
Claude-User: Visita a petición del usuario

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.

Lo que dicen nuestros datos sobre ClaudeBot

Cifras que hemos medido en respuestas de IA y webs reales. Cada una enlaza a su estudio, con el método, la muestra y la fecha.

13,9 %

El 13,9 % de las webs que más cita la IA en España impide rastrear su web a ClaudeBot, y el 17,8 % lo nombra en un grupo propio de su robots.txt.

Muestra: 382 webs que la IA cita para tres o más de 43 marcas en España. Fuente: Mencoro (octubre de 2026), en ¿Qué rastreadores de IA dejan entrar las webs que cita la IA?