Índice de rastreadores de IA

¿Qué es Applebot?

Applebot es el rastreador del buscador de Apple. Alimenta la búsqueda de Spotlight, Siri y Safari; Apple dice que sus datos también pueden entrenar sus modelos fundacionales.

En resumen

¿Conviene bloquear Applebot?

Es el rastreador de un buscador clásico. Bloquearlo te saca de ese buscador y de los productos construidos sobre su índice, así que la mayoría de webs deberían permitirlo.

Si robots.txt no nombra a Applebot, sigue las reglas que pongas para Googlebot. Ignora Crawl-delay. Para dejar tu contenido fuera del entrenamiento de modelos, usa Applebot-Extended.

Cómo bloquear o permitir Applebot en robots.txt

Bloquearlo en toda la web:

User-agent: Applebot
Disallow: /

Permitirlo en toda la web:

User-agent: Applebot
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Cómo saber si una visita es realmente de Applebot

Cualquiera puede escribir Applebot en un user agent, así que el user agent por sí solo no demuestra nada. Saca la IP de la petición de los logs de tu servidor y compruébala.

Busca el hostname de la IP y después busca ese hostname. La primera respuesta debe terminar en .applebot.apple.com y la segunda debe devolver la misma IP; si no, es una suplantación. En Windows, usa nslookup en lugar de host.

host 203.0.113.7
host <hostname>

Apple publica sus rangos de IP en JSON. Este comando descarga la lista e imprime True si la IP está en ella. Cambia 203.0.113.7 por la IP de tus logs; Python 3 viene instalado en macOS y en la mayoría de sistemas Linux.

curl -s https://search.developer.apple.com/applebot.json \
  | python3 -c 'import sys, json, ipaddress as ip
a = ip.ip_address(sys.argv[1])
ranges = json.load(sys.stdin)["prefixes"]
print(any(a in ip.ip_network(r.get("ipv4Prefix") or r.get("ipv6Prefix")) for r in ranges))' 203.0.113.7

Otros rastreadores de Apple

• Applebot-Extended: Token de control en robots.txt

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.