Índice de rastreadores de IA

¿Qué es Claude-SearchBot?

Claude-SearchBot es el rastreador de Anthropic para la búsqueda con IA. Recorre la web para mejorar la calidad de los resultados de búsqueda que Claude da a sus usuarios.

En resumen

Operador	Anthropic
Finalidad	Búsqueda con IA
User agent	El operador no lo documenta
Respeta robots.txt	Sí, según el operador
Rangos de IP publicados	https://claude.com/crawling/bots.json
Cómo verificarlo	Anthropic indica que una IP de origen incluida en su lista publicada identifica al rastreador como suyo.
Documentación oficial	https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

¿Conviene bloquear Claude-SearchBot?

Construye el índice del que cita un buscador con IA. Bloquearlo puede sacar tus páginas de las respuestas y los enlaces de ese motor, así que, si quieres que te citen ahí, permítelo.

Anthropic avisa de que bloquearlo puede reducir tu visibilidad y la precisión de los resultados de búsqueda de Claude. Es independiente de ClaudeBot, el rastreador de entrenamiento.

Cómo bloquear o permitir Claude-SearchBot en robots.txt

Bloquearlo en toda la web:

User-agent: Claude-SearchBot
Disallow: /

Permitirlo en toda la web:

User-agent: Claude-SearchBot
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Cómo saber si una visita es realmente de Claude-SearchBot

Cualquiera puede escribir Claude-SearchBot en un user agent, así que el user agent por sí solo no demuestra nada. Saca la IP de la petición de los logs de tu servidor y compruébala.

Anthropic publica sus rangos de IP en JSON. Este comando descarga la lista e imprime True si la IP está en ella. Cambia 203.0.113.7 por la IP de tus logs; Python 3 viene instalado en macOS y en la mayoría de sistemas Linux.

curl -s https://claude.com/crawling/bots.json \
  | python3 -c 'import sys, json, ipaddress as ip
a = ip.ip_address(sys.argv[1])
ranges = json.load(sys.stdin)["prefixes"]
print(any(a in ip.ip_network(r.get("ipv4Prefix") or r.get("ipv6Prefix")) for r in ranges))' 203.0.113.7

Otros rastreadores de Anthropic

ClaudeBot: Entrenamiento de IA
Claude-User: Visita a petición del usuario

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.

Lo que dicen nuestros datos sobre Claude-SearchBot

Cifras que hemos medido en respuestas de IA y webs reales. Cada una enlaza a su estudio, con el método, la muestra y la fecha.

7,1 %

El 7,1 % de las webs que más cita la IA en España impide rastrear su web a Claude-SearchBot, y el 8,6 % lo nombra en un grupo propio de su robots.txt.

Muestra: 382 webs que la IA cita para tres o más de 43 marcas en España. Fuente: Mencoro (octubre de 2026), en ¿Qué rastreadores de IA dejan entrar las webs que cita la IA?