La IA no avisa cuando cruza la frontera

El miedo al error de IA está mal calibrado. Todos hablan de alucinaciones, fechas inventadas, datos fabricados. Esos errores son los menos peligrosos: se detectan. El error que importa es el que parece correcto. ¿Qué hacemos con él?

Air France 447, junio de 2009. Los tubos pitot del Airbus A330 se obstruyen con cristales de hielo sobre el Atlántico. El piloto automático se desconecta. Los pilotos, formados para gestionar sistemas automatizados y no para volar a mano a gran altitud, no saben interpretar lo que ocurre. La alarma de pérdida suena 75 veces. La ignoran. 228 muertos.

El sistema no avisó de que cruzaba el límite de lo que podía gestionar. Simplemente dejó de funcionar. Y los que tenían que intervenir habían dejado de practicar. Esto tiene nombre en psicología cognitiva: sesgo de automatización (Parasuraman y Riley, 1997 ¹). Cuando un sistema acierta casi siempre, dejamos de cuestionarlo. Y suspendemos el juicio crítico justo cuando más falta haría usarlo.

La IA replica ese patrón con una agravante. Su perfil de competencia no es una línea recta: es fragmentado e irregular. Es lo que investigadores de Harvard Business School y Boston Consulting Group llaman la jagged technological frontier ². El mismo modelo que aprueba con nota el examen de acceso a la abogacía falla al contar cuántas veces aparece la letra «r» en strawberry. Pero el output no cambia de textura cuando cruza esa frontera. La sintaxis, el tono y la aparente fluidez se mantienen idénticos tanto cuando el sistema ofrece un análisis impecable como cuando genera un error absoluto. La frontera se cruza en silencio.

El dato clínico lo confirma. Un estudio de comportamiento médico ³ documentó que la precisión diagnóstica de radiólogos expertos cae del 82,3% al 45,5% cuando la IA presenta un diagnóstico incorrecto con confianza. No es que los médicos no sepan: es que la confianza uniforme del sistema inhibe su juicio en el momento exacto en que más se necesita.

Aquí está la paradoja. Contratamos la IA porque sabe más que nosotros en ciertos dominios. Pero detectar cuándo ha cruzado su frontera requiere exactamente la experticia que estábamos intentando delegar. Si la tienes, corriges. Si no la tienes, no sabes que hay que corregir. El error de alucinación lo detecta cualquiera. El error de frontera parece análisis.

La IA carece de autoconsciencia y de comprensión de sus propios límites operativos. Es incapaz de modular su confianza o de emitir una señal de advertencia cuando su rendimiento se degrada. El semáforo siempre está en verde.

El criterio humano independiente y la supervisión activa no son salvaguardas opcionales: son el único mecanismo de detección disponible frente a fallos invisibles en los bordes del sistema. El copiloto que sí avisa eres tú. No te ausentes.