Índice de rastreadores de IA

¿Qué es meta-webindexer?

meta-webindexer es el rastreador de Meta para la búsqueda con IA. Recorre la web para mejorar la calidad de los resultados de búsqueda de Meta AI para sus usuarios.

En resumen

¿Conviene bloquear meta-webindexer?

Construye el índice del que cita un buscador con IA. Bloquearlo puede sacar tus páginas de las respuestas y los enlaces de ese motor, así que, si quieres que te citen ahí, permítelo.

Meta dice que permitirlo en robots.txt le ayuda a citar y enlazar tu contenido en las respuestas de Meta AI. Es distinto de meta-externalagent, que rastrea para usos como entrenar IA. Meta puede guardar robots.txt en caché hasta 24 horas.

Cómo bloquear o permitir meta-webindexer en robots.txt

Bloquearlo en toda la web:

User-agent: meta-webindexer
Disallow: /

Permitirlo en toda la web:

User-agent: meta-webindexer
Allow: /

Las reglas se asignan por el token de la línea User-agent. Prueba el resultado con el probador de robots.txt antes de publicarlo.

Cómo saber si una visita es realmente de meta-webindexer

Meta no publica una lista de IP ni un hostname para meta-webindexer, así que no puedes demostrar que una visita es auténtica. Toma el user agent como una declaración y juzga las visitas por lo que piden en tus logs.

Otros rastreadores de Meta

• meta-externalagent: Entrenamiento de IA
• meta-externalfetcher: Visita a petición del usuario
• facebookexternalhit: Vista previa de enlaces

Comprueba tu propia web

El comprobador de rastreadores de IA te dice qué rastreadores de IA deja pasar tu robots.txt, y el analizador de logs muestra con qué frecuencia te visita cada uno. Para el contexto, mira qué son los rastreadores de IA y el índice completo de rastreadores de IA.