Índice de rastreadores de IA

¿Qué es DuckDuckBot?

DuckDuckBot es el rastreador del buscador de DuckDuckGo. El rastreador web de DuckDuckGo, que trabaja para mejorar sus resultados de búsqueda.

En resumen

Operador	DuckDuckGo
Finalidad	Buscador
User agent	`DuckDuckBot/1.1; (+http://duckduckgo.com/duckduckbot.html)`
Respeta robots.txt	Sí, según el operador
Rangos de IP publicados	https://duckduckgo.com/duckduckbot.json
Cómo verificarlo	DuckDuckGo publica las direcciones IP desde las que rastrea; comprueba la IP de origen contra ellas.
Documentación oficial	https://duckduckgo.com/duckduckgo-help-pages/results/duckduckbot

¿Conviene bloquear DuckDuckBot?

Es el rastreador de un buscador clásico. Bloquearlo te saca de ese buscador y de los productos construidos sobre su índice, así que la mayoría de webs deberían permitirlo.

DuckDuckGo dice que respeta robots.txt (WWW::RobotRules). Sus respuestas asistidas por IA usan otro rastreador, DuckAssistBot.

Cómo bloquear o permitir DuckDuckBot en robots.txt

Bloquearlo en toda la web:

User-agent: DuckDuckBot
Disallow: /

Permitirlo en toda la web:

User-agent: DuckDuckBot
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Cómo saber si una visita es realmente de DuckDuckBot

Cualquiera puede escribir DuckDuckBot en un user agent, así que el user agent por sí solo no demuestra nada. Saca la IP de la petición de los logs de tu servidor y compruébala.

DuckDuckGo publica sus rangos de IP en JSON. Este comando descarga la lista e imprime True si la IP está en ella. Cambia 203.0.113.7 por la IP de tus logs; Python 3 viene instalado en macOS y en la mayoría de sistemas Linux.

curl -s https://duckduckgo.com/duckduckbot.json \
  | python3 -c 'import sys, json, ipaddress as ip
a = ip.ip_address(sys.argv[1])
ranges = json.load(sys.stdin)["prefixes"]
print(any(a in ip.ip_network(r.get("ipv4Prefix") or r.get("ipv6Prefix")) for r in ranges))' 203.0.113.7

Otros rastreadores de DuckDuckGo

DuckAssistBot: Búsqueda con IA

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.