Índice de rastreadores de IA

¿Qué es Google-CloudVertexBot?

Google-CloudVertexBot es un rastreador de Google. Rastrea las webs cuyos dueños lo piden al crear agentes de Vertex AI en Google Cloud.

En resumen

Operador	Google
Finalidad	Otro o sin declarar
User agent	El operador no lo documenta
Respeta robots.txt	Sí, según el operador
Rangos de IP publicados	https://developers.google.com/static/crawling/ipranges/common-crawlers.json
Cómo verificarlo	DNS inverso hacia crawl-.googlebot.com o geo-crawl-.geo.googlebot.com con confirmación directa, o la lista de IP de Google.
Documentación oficial	https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers

¿Conviene bloquear Google-CloudVertexBot?

Google dice que solo rastrea cuando lo pide el dueño de la web, para crear un agente de Vertex AI, y que bloquearlo no afecta a la Búsqueda de Google. Bloquéalo solo si no quieres que tus propios agentes lean la web.

Google solo documenta el fragmento «Google-CloudVertexBot» del user agent, no la cadena completa. Las reglas para este bot no afectan a la Búsqueda de Google ni a otros productos de Google.

Cómo bloquear o permitir Google-CloudVertexBot en robots.txt

Bloquearlo en toda la web:

User-agent: Google-CloudVertexBot
Disallow: /

Permitirlo en toda la web:

User-agent: Google-CloudVertexBot
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Cómo saber si una visita es realmente de Google-CloudVertexBot

Cualquiera puede escribir Google-CloudVertexBot en un user agent, así que el user agent por sí solo no demuestra nada. Saca la IP de la petición de los logs de tu servidor y compruébala.

Busca el hostname de la IP y después busca ese hostname. La primera respuesta debe terminar en .googlebot.com y la segunda debe devolver la misma IP; si no, es una suplantación. En Windows, usa nslookup en lugar de host.

host 203.0.113.7
host <hostname>

Google publica sus rangos de IP en JSON. Este comando descarga la lista e imprime True si la IP está en ella. Cambia 203.0.113.7 por la IP de tus logs; Python 3 viene instalado en macOS y en la mayoría de sistemas Linux.

curl -s https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
  | python3 -c 'import sys, json, ipaddress as ip
a = ip.ip_address(sys.argv[1])
ranges = json.load(sys.stdin)["prefixes"]
print(any(a in ip.ip_network(r.get("ipv4Prefix") or r.get("ipv6Prefix")) for r in ranges))' 203.0.113.7

Otros rastreadores de Google

Googlebot: Buscador
Google-Extended: Token de control en robots.txt
GoogleOther: Otro o sin declarar

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.