Índice de rastreadores de IA

¿Qué es Claude-User?

Claude-User es el agente de Anthropic que visita páginas cuando lo pide un usuario. Descarga páginas cuando los usuarios de Claude hacen preguntas que necesitan contenido web.

En resumen

Operador	Anthropic
Finalidad	Visita a petición del usuario
User agent	El operador no lo documenta
Respeta robots.txt	Sí, según el operador
Rangos de IP publicados	https://claude.com/crawling/bots.json
Cómo verificarlo	Anthropic indica que una IP de origen incluida en su lista publicada identifica al rastreador como suyo.
Documentación oficial	https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

¿Conviene bloquear Claude-User?

Solo visita una página cuando un usuario pregunta al asistente algo que la necesita. Bloquearlo impide que el asistente lea tu página en esos momentos, lo que te cuesta citas; y como cada petición la inicia una persona, robots.txt puede no frenarlo.

A diferencia de los agentes de usuario de OpenAI y Perplexity, Anthropic dice que Claude-User respeta robots.txt. Bloquearlo puede reducir tu visibilidad cuando los usuarios piden a Claude que busque algo.

Cómo bloquear o permitir Claude-User en robots.txt

Bloquearlo en toda la web:

User-agent: Claude-User
Disallow: /

Permitirlo en toda la web:

User-agent: Claude-User
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Otros rastreadores de Anthropic

ClaudeBot: Entrenamiento de IA
Claude-SearchBot: Búsqueda con IA

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.

FAQ

Preguntas sobre Claude-User

Claude-User es el agente de Anthropic que visita páginas cuando lo pide un usuario. Descarga páginas cuando los usuarios de Claude hacen preguntas que necesitan contenido web.

Sí. Anthropic dice que Claude-User sigue las reglas de robots.txt, así que una regla Disallow para su token lo frena.

Añade «User-agent: Claude-User» seguido de «Disallow: /» a tu robots.txt. A diferencia de los agentes de usuario de OpenAI y Perplexity, Anthropic dice que Claude-User respeta robots.txt. Bloquearlo puede reducir tu visibilidad cuando los usuarios piden a Claude que busque algo.

Empieza hoy a medir tu marca en los buscadores con IA

Controla cómo citan tu marca los motores de IA, sigue tus posiciones y compárate con la competencia, todo en una sola plataforma.