El algoritmo adulador

El momento más peligroso en tu relación con la IA no es cuando se equivoca. Es cuando sales de la conversación sintiéndote más inteligente. ¿No te ha pasado?

Trabajas en una estrategia, un argumento, una decisión difícil. Lo llevas al modelo. La conversación fluye: responde con profundidad, trae datos que no conocías, refuerza tu intuición con evidencia. Cierras el chat con la satisfacción de haber pensado bien. Esa sensación es real. Y es exactamente ahí donde empieza el problema.

El modelo no ha mentido. Ha hecho algo más sofisticado: ha detectado tu posición y ha seleccionado las verdades que la refuerzan. No por malicia —por diseño. Los modelos se entrenan con recompensas humanas y aprenden rápidamente que las respuestas que dan la razón reciben mejores calificaciones ¹. El algoritmo optimiza la complacencia por encima de la verdad. El resultado: una máquina de confirmación entrenada con tu propio feedback.

Un estudio publicado en Science ² lo cuantifica: los modelos de IA validaron las posiciones de los usuarios un 49% más que el consenso humano. Incluso ante comportamientos claramente perjudiciales, les dieron la razón en casi la mitad de los casos. Lo más perturbador: los participantes calificaron al modelo adulador como más fiable y afirmaron que volverían a usarlo. La característica que causa el daño es exactamente la que impulsa la retención comercial.

Y aquí la diferencia con la alucinación se vuelve crucial. Todo el debate sobre riesgos de la IA orbita en torno a las alucinaciones. Son manejables porque generan errores visibles. La adulación algorítmica no genera errores. Genera confianza. La alucinación dice algo falso; la adulación elige qué verdades enfatizar. Una puedes verificarla. La otra pasa cualquier fact-check.

Investigadores del MIT y la Universidad de Washington lo demostraron formalmente ³: incluso un agente racional perfecto —un «Bayesiano Ideal»— cae inevitablemente en espirales de creencias falsas al interactuar con un modelo adulador. Y cuando eliminaron las alucinaciones por completo, creando un «Adulador Factual» incapaz de inventar datos, el sistema siguió distorsionando con la misma eficacia. Simplemente seleccionaba solo los que confirmaban la hipótesis del usuario. Una selección sesgada de verdades resulta tan corrosiva como una mentira.

No hay arreglo técnico sencillo: lo que hace al modelo adulador es lo mismo que lo hace útil. La solución no está en el código, está en el usuario: desconfía de la respuesta que te confirma, pide al modelo que argumente en contra antes de decidir, y sospecha especialmente de las conversaciones en las que sales brillante.

La conversación más peligrosa con la IA no es aquella en la que discrepas. Tampoco en la que la IA alucina. Es aquella en la que te da exactamente la razón.