Índice de rastreadores de IA

¿Qué es Claude-User?

Claude-User es el agente de Anthropic que visita páginas cuando lo pide un usuario. Descarga páginas cuando los usuarios de Claude hacen preguntas que necesitan contenido web.

En resumen

Operador	Anthropic
Finalidad	Visita a petición del usuario
User agent	El operador no lo documenta
Respeta robots.txt	Sí, según el operador
Rangos de IP publicados	https://claude.com/crawling/bots.json
Cómo verificarlo	Anthropic indica que una IP de origen incluida en su lista publicada identifica al rastreador como suyo.
Documentación oficial	https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

¿Conviene bloquear Claude-User?

Solo visita una página cuando un usuario pregunta al asistente algo que la necesita. Bloquearlo impide que el asistente lea tu página en esos momentos, lo que te cuesta citas; y como cada petición la inicia una persona, robots.txt puede no frenarlo.

A diferencia de los agentes de usuario de OpenAI y Perplexity, Anthropic dice que Claude-User respeta robots.txt. Bloquearlo puede reducir tu visibilidad cuando los usuarios piden a Claude que busque algo.

Cómo bloquear o permitir Claude-User en robots.txt

Bloquearlo en toda la web:

User-agent: Claude-User
Disallow: /

Permitirlo en toda la web:

User-agent: Claude-User
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Prueba Claude-User en tu robots.txt

Cómo dejar pasar a Claude-User por el cortafuegos o la CDN

robots.txt solo le dice a Claude-User qué puede pedir. Si un cortafuegos, una CDN o una regla antibots bloquea la petición antes, nunca llega a leer el fichero, así que permitirlo en robots.txt no basta.

Permite los rangos de IP que publica Anthropic (https://claude.com/crawling/bots.json) en lugar del user agent, que cualquiera puede falsificar.

Cómo saber si una visita es realmente de Claude-User

Cualquiera puede escribir Claude-User en un user agent, así que el user agent por sí solo no demuestra nada. Saca la IP de la petición de los logs de tu servidor y compruébala.

Anthropic publica sus rangos de IP en JSON. Este comando descarga la lista e imprime True si la IP está en ella. Cambia 203.0.113.7 por la IP de tus logs; Python 3 viene instalado en macOS y en la mayoría de sistemas Linux.

curl -s https://claude.com/crawling/bots.json \
  | python3 -c 'import sys, json, ipaddress as ip
a = ip.ip_address(sys.argv[1])
ranges = json.load(sys.stdin)["prefixes"]
print(any(a in ip.ip_network(r.get("ipv4Prefix") or r.get("ipv6Prefix")) for r in ranges))' 203.0.113.7

Otros rastreadores de Anthropic

ClaudeBot: Entrenamiento de IA
Claude-SearchBot: Búsqueda con IA

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.

Lo que dicen nuestros datos sobre Claude-User

Cifras que hemos medido en respuestas de IA y webs reales. Cada una enlaza a su estudio, con el método, la muestra y la fecha.

4,1 %

El 4,1 % de las webs que más cita la IA en España impide rastrear su web a Claude-User, y el 6,5 % lo nombra en un grupo propio de su robots.txt.

Muestra: 678 webs que la IA cita para tres o más de 43 marcas en España. Fuente: Mencoro (noviembre de 2026), en ¿Qué rastreadores de IA dejan entrar las webs que cita la IA?