Delegación sin contrato

Puedes destituir a tu presidente. No puedes destituir al algoritmo que decide tu crédito, tu empleabilidad o qué versión del mundo ves cada mañana. No es retórica: son decisiones reales, sobre ti, tomadas ahora mismo. ¿Cuándo aceptamos esto?

La escala es difícil de asimilar. El 98% de las empresas del Fortune 500 utiliza sistemas automatizados (ATS) para filtrar candidatos ¹. Hasta el 75% de los currículums son filtrados por el ATS sin que un ser humano los lea jamás ². Tu scoring crediticio determina si accedes a una hipoteca. El precio de tu seguro se calcula con variables que desconoces. Y tu feed de noticias cada mañana lo compone un algoritmo que optimiza tu atención, no tu comprensión del mundo. Ninguno de estos sistemas te ha pedido consentimiento. Ninguno te debe explicaciones.

Las democracias modernas construyeron mecanismos específicos para la delegación del poder: representación, transparencia, motivación de las resoluciones, derecho a recurso. Si un funcionario te deniega una prestación, debe explicarte por qué, y puedes apelar. Si un juez te condena, tiene que motivar la sentencia. Ese es el contrato implícito del poder legítimo: si te equivocas conmigo, puedo pedirte explicaciones. Con los algoritmos que hoy toman decisiones equivalentes sobre tu vida, ese contrato no existe. Y la opacidad no es un defecto técnico pendiente de resolver: como documenta Frank Pasquale, es una condición estructural del modelo de negocio ³. Lo que no puedes auditar, no puedes cuestionar. Y lo que no puedes cuestionar te gobierna sin rendirte cuentas.

Si un ministro tomara decisiones sobre tu carrera profesional con criterios opacos, sin obligación de explicarse y sin posibilidad de recurso, lo llamaríamos autoritarismo. Si lo hace un algoritmo, lo llamamos eficiencia. La “neutralidad percibida” de la tecnología —esa ilusión de objetividad matemática que Cathy O’Neil desmonta en Weapons of Math Destruction ⁴— desactiva la resistencia. Y lo que no genera resistencia no necesita legitimarse. Un estudio de la Corporación RAND lo confirma: los ciudadanos perciben las decisiones algorítmicas como significativamente menos transparentes que las humanas ⁵. Pero las instituciones siguen blindándose detrás de ellas para diluir responsabilidades.

Ya en 1979, un manual de formación interna de IBM advertía: “Un ordenador nunca puede ser considerado responsable; por lo tanto, un ordenador nunca debe tomar una decisión de gestión” ⁶. Cuarenta y cinco años después, hemos hecho exactamente lo contrario.

Construimos instituciones durante siglos para evitar que los humanos ejercieran poder sin rendición de cuentas sobre otros humanos. No las hemos construido para los algoritmos. Y tampoco las hemos exigido. El déficit no está solo en la tecnología. Está en nosotros.