Cuando los algoritmos de salud no pueden ser corregidos por humanos: un dilema regulatorio
Altos funcionarios del sector salud enfrentaron una situación crítica días antes del lanzamiento de un algoritmo diseñado para determinar la asignación de financiamiento para adultos mayores. Correos electrónicos internos revelaron que la legislación había sido redactada de forma tan restrictiva que los evaluadores de cuidado geriátrico no podían anular legalmente las decisiones generadas por la herramienta automatizada, contradiciendo garantías previas del propio gobierno.
Según los registros internos, a pesar de que el departamento había comunicado de manera consistente que los evaluadores contarían con capacidad para modificar decisiones erróneas del algoritmo, funcionarios descubrieron a última hora que ejercer dicha facultad violaría las regulaciones propuestas. Esto derivó en una reunión de emergencia con los ministros responsables apenas tres días antes de la implementación. Un correo del 29 de octubre alertó sobre los riesgos de eliminar la función de anulación humana en la herramienta de evaluación, conocida como Herramienta de Evaluación Integrada (IAT), advirtiendo que el cambio podría afectar el comportamiento de los evaluadores y generar críticas por inconsistencia con declaraciones gubernamentales previas.
Este caso ilustra una tensión estructural que enfrentan cada vez más organizaciones públicas y privadas al escalar sistemas de inteligencia artificial en decisiones de alto impacto: la brecha entre el diseño técnico, el marco legal y la comunicación institucional. Según el Foro Económico Mundial, uno de los principales riesgos en la adopción de IA en servicios públicos es precisamente la ausencia de mecanismos de supervisión humana efectivos y legalmente respaldados. Para los estrategas de transformación digital, el episodio subraya que la gobernanza algorítmica no puede ser un proceso posterior al despliegue: debe integrarse desde la arquitectura regulatoria y la gestión del cambio organizacional, especialmente cuando las decisiones automatizadas afectan a poblaciones vulnerables.
