Índice de rastreadores de IA

¿Qué es Amzn-SearchBot?

Amzn-SearchBot es el rastreador del buscador de Amazon. Mejora la búsqueda en los productos y servicios de Amazon. Amazon dice que no rastrea contenido para entrenar modelos de IA generativa.

En resumen

Operador	Amazon
Finalidad	Buscador
User agent	`Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amzn-SearchBot/0.1) Chrome/W.X.Y.Z Safari/537.36`
Respeta robots.txt	Sí, según el operador
Rangos de IP publicados	https://developer.amazon.com/amazonbot/searchbot-ip-addresses/
Cómo verificarlo	Amazon publica las direcciones IP desde las que rastrea; comprueba la IP de origen contra ellas.
Documentación oficial	https://developer.amazon.com/amazonbot

¿Conviene bloquear Amzn-SearchBot?

Alimenta la búsqueda de los productos y servicios de Amazon, y Amazon dice que no recoge datos de entrenamiento. Bloquearlo puede dejar tus páginas fuera de esos resultados, así que permítelo salvo que tengas un motivo para no hacerlo.

Si robots.txt no nombra a Amzn-SearchBot pero permite otros bots de búsqueda, sigue sus reglas. Ignora Crawl-delay y puede usar un robots.txt guardado en caché en los últimos 30 días.

Cómo bloquear o permitir Amzn-SearchBot en robots.txt

Bloquearlo en toda la web:

User-agent: Amzn-SearchBot
Disallow: /

Permitirlo en toda la web:

User-agent: Amzn-SearchBot
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Cómo saber si una visita es realmente de Amzn-SearchBot

Cualquiera puede escribir Amzn-SearchBot en un user agent, así que el user agent por sí solo no demuestra nada. Saca la IP de la petición de los logs de tu servidor y compruébala.

Amazon publica las IP desde las que rastrea en su propia página: la IP de la petición tiene que estar en ella.

Otros rastreadores de Amazon

Amazonbot: Entrenamiento de IA

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.