Índice de rastreadores de IA

¿Qué es meta-externalfetcher?

meta-externalfetcher es el agente de Meta que visita páginas cuando lo pide un usuario. Descarga enlaces concretos a petición de un usuario y da soporte a la IA agéntica que navega webs por los usuarios.

En resumen

Operador	Meta
Finalidad	Visita a petición del usuario
User agent	`meta-externalfetcher/1.1`
Respeta robots.txt	No siempre: el operador dice que las visitas a petición del usuario pueden ignorarlo
Rangos de IP publicados	El operador no lo documenta
Cómo verificarlo	El operador no lo documenta
Documentación oficial	https://developers.facebook.com/documentation/sharing/webmasters/web-crawlers

¿Conviene bloquear meta-externalfetcher?

Solo visita una página cuando un usuario pregunta al asistente algo que la necesita. Bloquearlo impide que el asistente lea tu página en esos momentos, lo que te cuesta citas; y como cada petición la inicia una persona, robots.txt puede no frenarlo.

Meta dice que puede saltarse robots.txt porque la descarga la pide un usuario. Es distinto de facebookexternalhit, que genera las vistas previas de enlaces.

Cómo bloquear o permitir meta-externalfetcher en robots.txt

Bloquearlo en toda la web:

User-agent: meta-externalfetcher
Disallow: /

Permitirlo en toda la web:

User-agent: meta-externalfetcher
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Otros rastreadores de Meta

meta-externalagent: Entrenamiento de IA

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.

FAQ

Preguntas sobre meta-externalfetcher

meta-externalfetcher es el agente de Meta que visita páginas cuando lo pide un usuario. Descarga enlaces concretos a petición de un usuario y da soporte a la IA agéntica que navega webs por los usuarios.

No siempre. Meta dice que, como cada visita la inicia un usuario, las reglas de robots.txt pueden no aplicarse. La forma fiable de frenarlo es una regla de cortafuegos o de IP.

Añade «User-agent: meta-externalfetcher» seguido de «Disallow: /» a tu robots.txt. Como robots.txt puede no aplicarse, acompaña la regla de un bloqueo por cortafuegos o IP. Meta dice que puede saltarse robots.txt porque la descarga la pide un usuario. Es distinto de facebookexternalhit, que genera las vistas previas de enlaces.

Empieza hoy a medir tu marca en los buscadores con IA

Controla cómo citan tu marca los motores de IA, sigue tus posiciones y compárate con la competencia, todo en una sola plataforma.