Índice de rastreadores de IA

¿Qué es facebookexternalhit?

facebookexternalhit es el agente de Meta que genera las vistas previas de enlaces. Descarga una página o app cuando alguien la comparte en las apps de Meta, para generar la vista previa del enlace.

En resumen

Operador	Meta
Finalidad	Vista previa de enlaces
User agent	`facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)`
Respeta robots.txt	No siempre: el operador dice que algunas visitas pueden ignorarlo
Rangos de IP publicados	El operador no lo documenta
Cómo verificarlo	El operador no lo documenta
Documentación oficial	https://developers.facebook.com/documentation/sharing/webmasters/web-crawlers

¿Conviene bloquear facebookexternalhit?

Descarga una página cuando alguien comparte su enlace, para generar la tarjeta de vista previa con su título, descripción e imagen. Bloquearlo deja tus enlaces sin vista previa en esas apps; no cambia las respuestas de IA ni los resultados de búsqueda.

Meta dice que puede saltarse robots.txt cuando hace comprobaciones de seguridad o integridad, y pide añadir a la lista de permitidos su user agent o sus IP, que esa página no publica. Guarda en caché lo que descarga: si cambias una página, actualiza la vista previa con el Sharing Debugger de Meta.

Cómo bloquear o permitir facebookexternalhit en robots.txt

Bloquearlo en toda la web:

User-agent: facebookexternalhit
Disallow: /

Permitirlo en toda la web:

User-agent: facebookexternalhit
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Cómo saber si una visita es realmente de facebookexternalhit

Meta no publica una lista de IP ni un hostname para facebookexternalhit, así que no puedes demostrar que una visita es auténtica. Toma el user agent como una declaración y juzga las visitas por lo que piden en tus logs.

Otros rastreadores de Meta

meta-externalagent: Entrenamiento de IA
meta-externalfetcher: Visita a petición del usuario
meta-webindexer: Búsqueda con IA

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.