La IA vive en un mundo donde nadie se va

por Miguel Lucas

Le pides a la IA un brief sobre un cliente. Cita a un director que ya no trabaja allí. No es una alucinación: ese director existió y ese cargo fue real. Pero el sistema simplemente no tiene cómo saber que ese capítulo terminó. ¿Qué podemos hacer al respecto?

En LLYC lo entendimos mientras construíamos un asistente IA de intranet, entrenado con más de 14.000 artículos de nuestro blog corporativo. Pensábamos que con ese volumen el corpus sería prácticamente completo. El sistema sabía con precisión cuándo un profesional se incorporaba a la firma. Le costaba mucho más saber si ese profesional ya había salido.

No era un fallo del sistema. Era un fallo del corpus. Y el corpus éramos nosotros. La lección fue inmediata: una IA entrenada solo con lo que celebras se convierte en un espejo complaciente. Para que sea realmente útil, necesitas entrenarla también con lo que no te apetece contar.

Porque incluso siendo comunicadores profesionales, documentamos de forma asimétrica. Celebramos lo que llega y gestionamos en silencio lo que se va. Incorporaciones, lanzamientos, ascensos y clientes nuevos generan artículo. Salidas, proyectos cancelados, herramientas descartadas y prácticas abandonadas, casi nunca. La máxima legal «si no está escrito, no ocurrió» 1 convive con la práctica de no escribir aquello que evidencia el final.

El propio proceso de entrenamiento amplifica el sesgo. Investigaciones recientes sobre aprendizaje por refuerzo humano (RLHF) muestran que las preferencias mayoritarias se imponen y las minoritarias prácticamente desaparecen 2. El resultado no es un retrato fiel de la opinión real, sino una versión pulida de lo que más se aplaude. El historiador Michel-Rolph Trouillot ya lo había observado en los archivos coloniales: «los hechos no se crean iguales» 3. La producción de huellas documentales es, simultáneamente, la producción de silencios.

Y aquí es donde la búsqueda en internet no llega. Un modelo no puede buscar de manera autónoma aquello que desconoce por completo. Es una forma de sesgo del superviviente aplicada a la IA: solo vemos lo que sobrevivió a la documentación, nunca lo que se cayó por el camino 4. Si una metodología quedó obsoleta sin que nadie escribiera «esto ya no se usa», para el sistema sigue vigente. La ausencia de actualizaciones se interpreta como persistencia, no como abandono.

Puedes alimentar a tu asistente con 14.000 artículos, medio millón de documentos o toda la intranet. Da igual. Si no le has contado los finales, le falta exactamente la información que marca la diferencia entre una respuesta útil y una respuesta peligrosamente plausible. Quién se fue. Qué se canceló. Qué herramienta dejasteis de usar. Qué ya no aplica.

No es una limitación técnica que alguien vaya a resolver. Es la mitad de la conversación que la era de la IA nos está obligando a tener. Más nos vale ponernos a ello.

Tesis relacionadas

Referencias

  1. Fisher Phillips — If You Didn't Write It Down, It Didn't Happen
  2. Xiao et al. (2024) — On the Algorithmic Bias of Aligning LLMs with RLHF: Preference Collapse and Matching Regularization
  3. Michel-Rolph Trouillot — Silencing the Past: Power and the Production of History
  4. Trust Insights — Survivorship Bias in AI