¿Qué rastreadores de IA dejan entrar las webs que cita la IA?

Hallazgos clave

1. El 22,5 % de las webs que más cita la IA en España bloquea al menos un rastreador de IA en su robots.txt.
2. El 14,9 % de estas webs bloquea a GPTBot, que recoge datos de entrenamiento para OpenAI, pero solo el 6,5 % bloquea a OAI-SearchBot, el que usa la búsqueda de ChatGPT.
3. El rastreador que más bloquean estas webs es Bytespider (ByteDance): lo deja fuera el 17,3 %.
4. El 21,5 % de las webs que más cita la IA en España bloquea al menos un rastreador de entrenamiento de IA, frente al 14,1 % que bloquea alguno de búsqueda con IA.
5. El 11,5 % de estas webs bloquea algún rastreador que visita páginas cuando lo pide un usuario, como ChatGPT-User o Claude-User.
6. El 10,2 % de estas webs se excluye del entrenamiento de la IA de Google con Google-Extended, mientras que el 0,8 % bloquea a Googlebot.
7. El 21,3 % de los robots.txt de las webs que cita la IA en España tiene alguna línea que los rastreadores no leerán como se pretende, casi siempre una directiva que Google ignora, como Crawl-delay.
8. El 32,1 % de estos robots.txt tiene un grupo de reglas para al menos un rastreador de IA.
9. El 72,9 % de estos robots.txt indica a los rastreadores dónde está el sitemap.
10. El 15,2 % de las webs que más cita la IA en España publica un archivo llms.txt.
11. De las 382 webs que la IA cita para tres o más marcas españolas, 58 tienen llms.txt y 86 bloquean algún rastreador de IA.

Cuántas de estas webs bloquean a cada rastreador

Bloqueado: el robots.txt le impide visitar la página de inicio, lo que en la práctica lo deja fuera de toda la web. Grupo propio: el archivo lo nombra en un grupo de reglas propio, digan lo que digan esas reglas.

Descarga la tabla (CSV)

Metodología

• Webs: todos los dominios de terceros citados en las respuestas de IA de tres o más de las 43 marcas que Mencoro sigue en España del 8 de julio de 2026 al 5 de octubre de 2026, en ChatGPT, los AI Overviews de Google, el Modo IA de Google y Perplexity: 443 dominios. Los dominios propios de las marcas quedan fuera, y no se nombra ninguna marca.
• robots.txt: leído el 6 de octubre de 2026 en https://dominio/robots.txt (y www.), siguiendo redirecciones. Un 404 cuenta como sin reglas. 61 dominios no se pudieron leer (tiempo agotado, errores del servidor o un escudo antibots que responde 401 o 403) y no se cuentan: los porcentajes son sobre los 382 que sí.
• Bloqueado: se decide con el mismo comparador RFC 9309 que nuestro probador de robots.txt: gana el grupo de user-agent más específico y después la regla más larga que coincide. Un rastreador cuenta como bloqueado cuando ese veredicto lo para en la página de inicio.
• llms.txt: un archivo en /llms.txt de texto plano que empieza con un título en Markdown, como describe la propuesta. Las páginas HTML servidas en esa dirección no cuentan.
• Límites: el robots.txt es lo que pide una web, no lo que impone su cortafuegos, y los rastreadores que visitan a petición de un usuario pueden no leerlo. Las webs son las citadas en preguntas comerciales en España, no una muestra al azar de internet.

Cómo citar este estudio

Mencoro, «¿Qué rastreadores de IA dejan entrar las webs que cita la IA?», octubre de 2026, https://mencoro.com/es/estudios/acceso-rastreadores-ia/. Puedes usar las cifras con un enlace a esta página.