Índice de rastreadores de IA
¿Qué es Googlebot?
Googlebot es el rastreador del buscador de Google. Construye los índices de búsqueda de Google para la Búsqueda (incluido Discover), Imágenes, Vídeos y Noticias.
En resumen
| Operador | |
|---|---|
| Finalidad | Buscador |
| User agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 |
| Respeta robots.txt | Sí, según el operador |
| Rangos de IP publicados | https://developers.google.com/static/crawling/ipranges/common-crawlers.json |
| Cómo verificarlo | DNS inverso hacia crawl-*.googlebot.com o geo-crawl-*.geo.googlebot.com con confirmación directa, o la lista de IP de Google. |
| Documentación oficial | https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers |
¿Conviene bloquear Googlebot?
Es el rastreador de un buscador clásico. Bloquearlo te saca de ese buscador y de los productos construidos sobre su índice, así que la mayoría de webs deberían permitirlo.
Bloquear Googlebot te saca de la Búsqueda de Google, Discover, Imágenes, Vídeos y Noticias. W.X.Y.Z es la versión de Chrome, así que compárala con un comodín. También hay una variante para móvil.
Cómo bloquear o permitir Googlebot en robots.txt
Bloquearlo en toda la web:
User-agent: Googlebot
Disallow: /Permitirlo en toda la web:
User-agent: Googlebot
Allow: /Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.
Otros rastreadores de Google
- Google-Extended: Token de control en robots.txt
- GoogleOther: Otro o sin declarar
Comprueba tu propia web
El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.
FAQ
Preguntas sobre Googlebot
Empieza hoy a medir tu marca en los buscadores con IA
Controla cómo citan tu marca los motores de IA, sigue tus posiciones y compárate con la competencia, todo en una sola plataforma.