Índice de rastreadores de IA

¿Qué es Googlebot?

Googlebot es el rastreador del buscador de Google. Construye los índices de búsqueda de Google para la Búsqueda (incluido Discover), Imágenes, Vídeos y Noticias.

En resumen

Operador	Google
Finalidad	Buscador
User agent	`Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36`
Respeta robots.txt	Sí, según el operador
Rangos de IP publicados	https://developers.google.com/static/crawling/ipranges/common-crawlers.json
Cómo verificarlo	DNS inverso hacia crawl-.googlebot.com o geo-crawl-.geo.googlebot.com con confirmación directa, o la lista de IP de Google.
Documentación oficial	https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers

¿Conviene bloquear Googlebot?

Es el rastreador de un buscador clásico. Bloquearlo te saca de ese buscador y de los productos construidos sobre su índice, así que la mayoría de webs deberían permitirlo.

Bloquear Googlebot te saca de la Búsqueda de Google, Discover, Imágenes, Vídeos y Noticias. W.X.Y.Z es la versión de Chrome, así que compárala con un comodín. También hay una variante para móvil.

Cómo bloquear o permitir Googlebot en robots.txt

Bloquearlo en toda la web:

User-agent: Googlebot
Disallow: /

Permitirlo en toda la web:

User-agent: Googlebot
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Cómo saber si una visita es realmente de Googlebot

Cualquiera puede escribir Googlebot en un user agent, así que el user agent por sí solo no demuestra nada. Saca la IP de la petición de los logs de tu servidor y compruébala.

Busca el hostname de la IP y después busca ese hostname. La primera respuesta debe terminar en .googlebot.com y la segunda debe devolver la misma IP; si no, es una suplantación. En Windows, usa nslookup en lugar de host.

host 203.0.113.7
host <hostname>

Google publica sus rangos de IP en JSON. Este comando descarga la lista e imprime True si la IP está en ella. Cambia 203.0.113.7 por la IP de tus logs; Python 3 viene instalado en macOS y en la mayoría de sistemas Linux.

curl -s https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
  | python3 -c 'import sys, json, ipaddress as ip
a = ip.ip_address(sys.argv[1])
ranges = json.load(sys.stdin)["prefixes"]
print(any(a in ip.ip_network(r.get("ipv4Prefix") or r.get("ipv6Prefix")) for r in ranges))' 203.0.113.7

Otros rastreadores de Google

Google-Extended: Token de control en robots.txt
GoogleOther: Otro o sin declarar
Google-CloudVertexBot: Otro o sin declarar

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.

Lo que dicen nuestros datos sobre Googlebot

Cifras que hemos medido en respuestas de IA y webs reales. Cada una enlaza a su estudio, con el método, la muestra y la fecha.

0,8 %

El 0,8 % de las webs que más cita la IA en España impide rastrear su web a Googlebot, y el 12,3 % lo nombra en un grupo propio de su robots.txt.

Muestra: 382 webs que la IA cita para tres o más de 43 marcas en España. Fuente: Mencoro (octubre de 2026), en ¿Qué rastreadores de IA dejan entrar las webs que cita la IA?