Índice de rastreadores de IA

¿Qué es Bingbot?

Bingbot es el rastreador del buscador de Microsoft. El rastreador estándar de Bing, que hace la mayor parte de su rastreo diario.

En resumen

¿Conviene bloquear Bingbot?

Es el rastreador de un buscador clásico. Bloquearlo te saca de ese buscador y de los productos construidos sobre su índice, así que la mayoría de webs deberían permitirlo.

El índice de Bing también alimenta los resultados web de otros productos, así que bloquear Bingbot llega más allá de Bing. Bing pide no fijar sus IP en el código: la lista cambia.

Cómo bloquear o permitir Bingbot en robots.txt

Bloquearlo en toda la web:

User-agent: Bingbot
Disallow: /

Permitirlo en toda la web:

User-agent: Bingbot
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Prueba Bingbot en tu robots.txt

Cómo dejar pasar a Bingbot por el cortafuegos o la CDN

robots.txt solo le dice a Bingbot qué puede pedir. Si un cortafuegos, una CDN o una regla antibots bloquea la petición antes, nunca llega a leer el fichero, así que permitirlo en robots.txt no basta.

Permite los rangos de IP que publica Microsoft (https://www.bing.com/toolbox/bingbot.json) en lugar del user agent, que cualquiera puede falsificar.

Si tu cortafuegos admite reglas por hostname, permite las peticiones cuyo DNS inverso termine en .search.msn.com y apunte de vuelta a la misma IP.

Cómo saber si una visita es realmente de Bingbot

Cualquiera puede escribir Bingbot en un user agent, así que el user agent por sí solo no demuestra nada. Saca la IP de la petición de los logs de tu servidor y compruébala.

Busca el hostname de la IP y después busca ese hostname. La primera respuesta debe terminar en .search.msn.com y la segunda debe devolver la misma IP; si no, es una suplantación. En Windows, usa nslookup en lugar de host.

host 203.0.113.7
host <hostname>

Microsoft publica sus rangos de IP en JSON. Este comando descarga la lista e imprime True si la IP está en ella. Cambia 203.0.113.7 por la IP de tus logs; Python 3 viene instalado en macOS y en la mayoría de sistemas Linux.

curl -s https://www.bing.com/toolbox/bingbot.json \
  | python3 -c 'import sys, json, ipaddress as ip
a = ip.ip_address(sys.argv[1])
ranges = json.load(sys.stdin)["prefixes"]
print(any(a in ip.ip_network(r.get("ipv4Prefix") or r.get("ipv6Prefix")) for r in ranges))' 203.0.113.7

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.