Índice de rastreadores de IA

¿Qué es MistralAI-User?

MistralAI-User es el agente de Mistral AI que visita páginas cuando lo pide un usuario. Visita una página cuando un usuario hace al asistente de Mistral una pregunta que la necesita, y cita la fuente.

En resumen

¿Conviene bloquear MistralAI-User?

Solo visita una página cuando un usuario pregunta al asistente algo que la necesita. Bloquearlo impide que el asistente lea tu página en esos momentos, lo que te cuesta citas; y como cada petición la inicia una persona, robots.txt puede no frenarlo.

Mistral dice que no se usa para rastreo automático ni para entrenar IA. También documenta MistralAI-Index para búsqueda y MistralAI-Training para entrenamiento.

Cómo bloquear o permitir MistralAI-User en robots.txt

Bloquearlo en toda la web:

User-agent: MistralAI-User
Disallow: /

Permitirlo en toda la web:

User-agent: MistralAI-User
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Prueba MistralAI-User en tu robots.txt

Cómo dejar pasar a MistralAI-User por el cortafuegos o la CDN

robots.txt solo le dice a MistralAI-User qué puede pedir. Si un cortafuegos, una CDN o una regla antibots bloquea la petición antes, nunca llega a leer el fichero, así que permitirlo en robots.txt no basta.

Permite los rangos de IP que publica Mistral AI (https://mistral.ai/mistralai-user-ips.json) en lugar del user agent, que cualquiera puede falsificar.

Cómo saber si una visita es realmente de MistralAI-User

Cualquiera puede escribir MistralAI-User en un user agent, así que el user agent por sí solo no demuestra nada. Saca la IP de la petición de los logs de tu servidor y compruébala.

Mistral AI publica sus rangos de IP en JSON. Este comando descarga la lista e imprime True si la IP está en ella. Cambia 203.0.113.7 por la IP de tus logs; Python 3 viene instalado en macOS y en la mayoría de sistemas Linux.

curl -s https://mistral.ai/mistralai-user-ips.json \
  | python3 -c 'import sys, json, ipaddress as ip
a = ip.ip_address(sys.argv[1])
ranges = json.load(sys.stdin)["prefixes"]
print(any(a in ip.ip_network(r.get("ipv4Prefix") or r.get("ipv6Prefix")) for r in ranges))' 203.0.113.7

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.