Índice de rastreadores de IA

¿Qué es CCBot?

CCBot es el rastreador de Common Crawl para entrenar IA. Construye el repositorio abierto y gratuito de datos de rastreo de Common Crawl, una fuente habitual de conjuntos de entrenamiento.

En resumen

¿Conviene bloquear CCBot?

Recoge páginas para entrenar modelos, no para responder preguntas en tiempo real. Bloquearlo deja tu contenido futuro fuera de los datos de entrenamiento de ese operador, pero no te saca de las respuestas de búsqueda con IA, que alimentan otros rastreadores. Bloquéalo si no quieres que tu contenido entre en conjuntos de entrenamiento; permítelo si quieres que los modelos futuros conozcan tu marca.

Respeta Crawl-delay. Bloquearlo solo frena los rastreos futuros, no los archivos ya publicados. Common Crawl avisa de que hay CCBots falsos, así que verifícalo.

Cómo bloquear o permitir CCBot en robots.txt

Bloquearlo en toda la web:

User-agent: CCBot
Disallow: /

Permitirlo en toda la web:

User-agent: CCBot
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Cómo saber si una visita es realmente de CCBot

Cualquiera puede escribir CCBot en un user agent, así que el user agent por sí solo no demuestra nada. Saca la IP de la petición de los logs de tu servidor y compruébala.

Busca el hostname de la IP y después busca ese hostname. La primera respuesta debe terminar en .crawl.commoncrawl.org y la segunda debe devolver la misma IP; si no, es una suplantación. En Windows, usa nslookup en lugar de host.

host 203.0.113.7
host <hostname>

Common Crawl publica sus rangos de IP en JSON. Este comando descarga la lista e imprime True si la IP está en ella. Cambia 203.0.113.7 por la IP de tus logs; Python 3 viene instalado en macOS y en la mayoría de sistemas Linux.

curl -s https://index.commoncrawl.org/ccbot.json \
  | python3 -c 'import sys, json, ipaddress as ip
a = ip.ip_address(sys.argv[1])
ranges = json.load(sys.stdin)["prefixes"]
print(any(a in ip.ip_network(r.get("ipv4Prefix") or r.get("ipv6Prefix")) for r in ranges))' 203.0.113.7

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.