Índice de rastreadores de IA

¿Qué es ClaudeBot?

ClaudeBot es el rastreador de Anthropic para entrenar IA. Recoge contenido web que puede contribuir a entrenar los modelos de IA generativa de Anthropic.

En resumen

Operador	Anthropic
Finalidad	Entrenamiento de IA
User agent	El operador no lo documenta
Respeta robots.txt	Sí, según el operador
Rangos de IP publicados	https://claude.com/crawling/bots.json
Cómo verificarlo	Anthropic indica que una IP de origen incluida en su lista publicada identifica al rastreador como suyo.
Documentación oficial	https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

¿Conviene bloquear ClaudeBot?

Recoge páginas para entrenar modelos, no para responder preguntas en tiempo real. Bloquearlo deja tu contenido futuro fuera de los datos de entrenamiento de ese operador, pero no te saca de las respuestas de búsqueda con IA, que alimentan otros rastreadores. Bloquéalo si no quieres que tu contenido entre en conjuntos de entrenamiento; permítelo si quieres que los modelos futuros conozcan tu marca.

Bloquearlo deja tu contenido futuro fuera de los datos de entrenamiento de Anthropic. Admite Crawl-delay, y Anthropic desaconseja bloquearlo por IP, porque entonces no puede leer tu robots.txt.

Cómo bloquear o permitir ClaudeBot en robots.txt

Bloquearlo en toda la web:

User-agent: ClaudeBot
Disallow: /

Permitirlo en toda la web:

User-agent: ClaudeBot
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Otros rastreadores de Anthropic

Claude-SearchBot: Búsqueda con IA
Claude-User: Visita a petición del usuario

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.

FAQ

Preguntas sobre ClaudeBot

ClaudeBot es el rastreador de Anthropic para entrenar IA. Recoge contenido web que puede contribuir a entrenar los modelos de IA generativa de Anthropic.

Sí. Anthropic dice que ClaudeBot sigue las reglas de robots.txt, así que una regla Disallow para su token lo frena.

Añade «User-agent: ClaudeBot» seguido de «Disallow: /» a tu robots.txt. Bloquearlo deja tu contenido futuro fuera de los datos de entrenamiento de Anthropic. Admite Crawl-delay, y Anthropic desaconseja bloquearlo por IP, porque entonces no puede leer tu robots.txt.

Empieza hoy a medir tu marca en los buscadores con IA

Controla cómo citan tu marca los motores de IA, sigue tus posiciones y compárate con la competencia, todo en una sola plataforma.