Índice de rastreadores de IA

¿Qué es Claude-SearchBot?

Claude-SearchBot es el rastreador de Anthropic para la búsqueda con IA. Recorre la web para mejorar la calidad de los resultados de búsqueda que Claude da a sus usuarios.

En resumen

Operador	Anthropic
Finalidad	Búsqueda con IA
User agent	El operador no lo documenta
Respeta robots.txt	Sí, según el operador
Rangos de IP publicados	https://claude.com/crawling/bots.json
Cómo verificarlo	Anthropic indica que una IP de origen incluida en su lista publicada identifica al rastreador como suyo.
Documentación oficial	https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

¿Conviene bloquear Claude-SearchBot?

Construye el índice del que cita un buscador con IA. Bloquearlo puede sacar tus páginas de las respuestas y los enlaces de ese motor, así que, si quieres que te citen ahí, permítelo.

Anthropic avisa de que bloquearlo puede reducir tu visibilidad y la precisión de los resultados de búsqueda de Claude. Es independiente de ClaudeBot, el rastreador de entrenamiento.

Cómo bloquear o permitir Claude-SearchBot en robots.txt

Bloquearlo en toda la web:

User-agent: Claude-SearchBot
Disallow: /

Permitirlo en toda la web:

User-agent: Claude-SearchBot
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Otros rastreadores de Anthropic

ClaudeBot: Entrenamiento de IA
Claude-User: Visita a petición del usuario

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.

FAQ

Preguntas sobre Claude-SearchBot

Claude-SearchBot es el rastreador de Anthropic para la búsqueda con IA. Recorre la web para mejorar la calidad de los resultados de búsqueda que Claude da a sus usuarios.

Sí. Anthropic dice que Claude-SearchBot sigue las reglas de robots.txt, así que una regla Disallow para su token lo frena.

Añade «User-agent: Claude-SearchBot» seguido de «Disallow: /» a tu robots.txt. Anthropic avisa de que bloquearlo puede reducir tu visibilidad y la precisión de los resultados de búsqueda de Claude. Es independiente de ClaudeBot, el rastreador de entrenamiento.

Empieza hoy a medir tu marca en los buscadores con IA

Controla cómo citan tu marca los motores de IA, sigue tus posiciones y compárate con la competencia, todo en una sola plataforma.