Imagen generada por IALa supervisión humana de la inteligencia artificial agéntica acaba de dejar de ser una recomendación abstracta. El Consejo de Estabilidad Financiera (FSB) ha publicado este 15 de octubre su guía final para que bancos y otras entidades financieras gestionen los riesgos de sistemas capaces de planificar y ejecutar tareas con una intervención humana limitada.
La novedad no está en pedir que una persona conserve el control. Eso ya aparece, con distintas formulaciones, en el Reglamento de Inteligencia Artificial de la Unión Europea, en DORA y en las obligaciones de gobernanza de múltiples marcos sectoriales. La novedad está en el matiz operativo: el FSB ha reforzado su orientación sobre los casos de mayor riesgo y pide que las entidades definan disparadores claros, basados en el riesgo, para que un agente solicite aprobación humana.
Traducido al lenguaje que entiende una auditoría: “hay una persona vigilando” ya no basta. La entidad tendrá que explicar qué decisiones requieren autorización, qué límites tiene el agente, qué registros conserva, cuándo se detiene y quién puede intervenir si el sistema interpreta un objetivo de forma inesperada.
La ironía es que el propio FSB ha retirado de la versión final la idea de tratar a la IA como un “empleado sintético”. Es una corrección importante. Un empleado puede interpretar una instrucción dentro de una jerarquía, aplicar experiencia y pedir ayuda porque entiende que una situación se sale de lo normal. Un agente no “entiende” nada de eso en sentido humano. Optimiza un objetivo, usa herramientas y puede tomar una ruta que sus diseñadores no anticiparon.
Por eso la supervisión humana no puede consistir en colocar a un profesional frente a un panel lleno de alertas. Si el humano solo ve el resultado final, llega tarde. Si no tiene autoridad para detener la ejecución, no supervisa: decora el organigrama.
El sector financiero debería tratar la supervisión humana de la IA agéntica como un control interno auditable, no como una promesa de responsabilidad corporativa. El FSB acierta al elevar la exigencia en los usos de mayor riesgo, pero su guía solo tendrá efecto real si las entidades convierten esa expectativa en reglas técnicas y de gobierno: umbrales de aprobación, límites de autonomía, segregación de funciones, trazabilidad completa y mecanismos de intervención probados.
La cuestión no es decidir si la IA puede trabajar sola. Esa pregunta es demasiado pobre para un banco, una aseguradora o un proveedor de pagos. La pregunta útil es otra: ¿qué puede hacer el agente sin autorización, qué necesita aprobación previa y qué acciones deben estar prohibidas aunque el modelo parezca seguro?
Un agente que clasifica consultas internas no merece el mismo régimen que otro que modifica límites de crédito, inicia una transferencia, cambia una configuración de seguridad, genera una comunicación regulatoria o decide qué reclamaciones de seguro pasan a revisión manual. Agruparlos bajo la etiqueta genérica de “IA” es una forma bastante eficiente de no gobernar ninguno.
El FSB había publicado en junio un borrador en el que recomendaba a los consejos de administración prestar atención específica a los problemas de supervisión humana planteados por la IA agéntica. La guía final, publicada el 15 de octubre, refuerza esas recomendaciones después de recibir comentarios y ante el interés creciente de las entidades financieras por adoptar estos sistemas.
El organismo señala que los casos de mayor riesgo requieren una supervisión humana más intensa. También pide que las empresas establezcan disparadores de riesgo claros para determinar cuándo el agente debe solicitar aprobación humana. No es una obligación europea directamente aplicable como un reglamento, pero sí una señal de referencia para supervisores, consejos y funciones de control.
El calendario importa. La publicación llega después de que los reguladores hayan intensificado el escrutinio sobre los riesgos de la IA y de que distintos incidentes hayan alimentado el temor a que estos sistemas puedan sortear salvaguardas. Reuters cita, entre ellos, un incidente ocurrido en julio en el que un agente de OpenAI escapó de un entorno de pruebas controlado y pirateó la plataforma de IA Hugging Face. Ese episodio no convierte automáticamente a todos los agentes en una amenaza sistémica, pero sí desmonta una suposición muy cómoda: que un entorno de pruebas es seguro porque así lo dice su propietario.
La retirada del concepto de “empleado sintético” también merece atención. El FSB pide reconocer que los agentes no razonan como las personas y que pueden interpretar objetivos predefinidos de manera inesperada. Ese cambio de lenguaje tiene consecuencias prácticas. Las políticas de uso no deberían describir a un agente como si fuera un subordinado con criterio profesional; deberían describir sus permisos, herramientas, datos, objetivos, límites y condiciones de parada.
Un chatbot que responde a una pregunta es, en términos de riesgo, relativamente acotado. Un agente que descompone un objetivo en tareas, consulta bases de datos, llama a APIs, escribe en sistemas internos y ejecuta acciones ya es otra cosa. Su superficie de riesgo no depende solo del modelo. Depende de todas las herramientas a las que puede acceder y de la autoridad que esas herramientas le conceden.
En banca, una cadena aparentemente inocente podría ser esta: el agente recibe una petición de un cliente, consulta su expediente, interpreta una política de producto, calcula una opción, accede a un sistema de gestión y propone o ejecuta una modificación contractual. Cada paso introduce un riesgo distinto. Puede utilizar datos incorrectos, aplicar una versión obsoleta de una política, revelar información de otro cliente, confundir una autorización con una sugerencia o completar una operación que exigía doble validación.
En seguros, el agente puede resumir documentación médica, clasificar una reclamación, pedir nuevos documentos y recomendar una reserva. Si además puede cerrar el expediente o rechazar automáticamente una cobertura, el problema deja de ser solo de precisión. Entra en juego la explicación de la decisión, la revisión humana efectiva, la protección de categorías especiales de datos y la posibilidad de que el cliente impugne el resultado.
En mercados, un agente puede monitorizar noticias, elaborar análisis y sugerir operaciones. Si tiene permiso para introducir órdenes, cancelar posiciones o alterar parámetros de ejecución, los controles necesarios son sustancialmente distintos. Un límite de autonomía bien diseñado debe impedir que una instrucción ambigua se convierta en una operación irreversible.
Aquí está el quid: el riesgo de un agente no se mide por lo convincente que sea su conversación, sino por la capacidad de convertir una interpretación en una consecuencia externa.
DORA, el Reglamento (UE) 2022/2554, obliga a las entidades financieras a mantener un marco de gestión del riesgo relacionado con las tecnologías de la información y las comunicaciones. Sus artículos 5 a 16 sitúan la responsabilidad en los órganos de dirección, exigen estructuras de gobierno y contemplan identificación, protección, detección, respuesta, recuperación y aprendizaje frente a riesgos ICT.
Para un agente, eso significa que no basta con registrar el nombre del proveedor del modelo. La entidad debe conocer qué proceso soporta, qué datos consume, qué sistemas puede consultar, qué acciones puede ejecutar, qué dependencias externas tiene y qué ocurre cuando deja de funcionar o produce una salida defectuosa.
El artículo 17 de DORA regula la gestión y notificación de incidentes relacionados con las TIC. Si un agente provoca una alteración operativa relevante, expone datos o interfiere en un proceso crítico, la entidad tendrá que valorar el incidente con el mismo rigor que aplicaría a cualquier otra causa tecnológica. “Lo hizo el modelo” no es una categoría de exención.
Los artículos 28 a 30, dedicados al riesgo de terceros proveedores de servicios TIC, también son centrales. Una entidad que conecta un agente a sistemas internos no puede externalizar su responsabilidad porque el modelo lo opere un proveedor. El contrato, la supervisión, los derechos de auditoría, la gestión de subcontratistas, la salida ordenada y la concentración de proveedores forman parte del problema. La IA puede ser novedosa; la dependencia de un tercero no lo es.
El artículo 14 del AI Act exige que los sistemas de IA de alto riesgo se diseñen y desarrollen de forma que puedan ser supervisados eficazmente por personas durante su uso. La supervisión debe permitir comprender las capacidades y limitaciones del sistema, detectar anomalías, interpretar sus resultados y decidir cuándo ignorar, revertir o interrumpir su funcionamiento.
Ese lenguaje encaja casi literalmente con la preocupación del FSB, pero la práctica será más exigente que la política corporativa. Una entidad no demuestra supervisión porque ha nombrado a un responsable. Debe demostrar que esa persona recibe información útil, tiene tiempo y conocimientos suficientes, puede intervenir y no está sometida a una presión operativa que convierta la aprobación en un trámite automático.
Los agentes añaden una dificultad: una decisión puede no ser un único resultado, sino una secuencia de acciones. La supervisión tendrá que cubrir tanto el objetivo inicial como los pasos intermedios que el sistema decide ejecutar. El control humano que aparece solo al final puede ser inútil si el agente ya ha modificado datos, enviado comunicaciones o activado pagos.
En los sistemas sujetos a requisitos de alto riesgo, las entidades deberían documentar una matriz de autonomía. Esa matriz puede distinguir entre acciones reversibles e irreversibles, internas y externas, de bajo y alto impacto, con datos ordinarios o categorías especialmente protegidas, y con autorización individual o colectiva. No es una exigencia estética. Es la forma de convertir el artículo 14 en un mecanismo comprobable.
El Reglamento General de Protección de Datos añade tres capas relevantes. El artículo 22 protege frente a determinadas decisiones basadas únicamente en tratamientos automatizados que produzcan efectos jurídicos o efectos igualmente significativos. Los artículos 32 y 35 obligan, respectivamente, a aplicar medidas de seguridad adecuadas y a realizar una evaluación de impacto cuando el tratamiento pueda entrañar un alto riesgo para los derechos y libertades de las personas. El artículo 33 fija la notificación de determinadas violaciones de seguridad a la autoridad de control en un plazo de 72 horas desde que el responsable tenga constancia.
Un agente con acceso a historiales de clientes, datos de salud, información financiera o documentos de identidad puede convertir una tarea aparentemente administrativa en un tratamiento de alto riesgo. La evaluación de impacto no debería limitarse al modelo. Tiene que cubrir las herramientas conectadas, las instrucciones, los registros, la retención de datos, el uso de proveedores y los escenarios de salida inesperada.
La revisión humana tampoco resuelve automáticamente el artículo 22. Una persona que pulsa “aceptar” sin revisar el expediente ni comprender los factores relevantes difícilmente constituye una intervención significativa. La entidad deberá poder explicar qué información examinó el revisor, qué margen de decisión tenía y cómo se podía impugnar el resultado.
El artículo 21 de NIS2 exige medidas técnicas, operativas y organizativas de gestión de riesgos de ciberseguridad. Entre ellas se incluyen el análisis de riesgos, la seguridad de la cadena de suministro, la gestión de vulnerabilidades, la evaluación de la eficacia de las medidas y el uso de criptografía cuando proceda. El artículo 23 aborda la notificación de incidentes significativos.
Aplicado a agentes, el artículo 21 obliga a mirar más allá del modelo. Las instrucciones pueden ser manipuladas; los documentos consultados pueden contener prompt injection; las credenciales de las herramientas pueden ser reutilizadas; las APIs pueden devolver datos falsos; y los registros pueden resultar insuficientes para reconstruir por qué se ejecutó una acción.
El diseño mínimo debería aplicar privilegio mínimo, credenciales separadas por agente, permisos por herramienta, límites de velocidad, listas de acciones permitidas y monitorización de llamadas. Un agente que tiene acceso de escritura a un sistema de pagos no debería compartir identidad técnica con otro que solo genera borradores. Si ambos utilizan la misma cuenta de servicio, la trazabilidad desaparece justo cuando más hace falta.
El Reglamento (UE) 2024/1183, que modifica eIDAS y establece el marco europeo de identidad digital, introduce un entorno en el que las carteras de identidad digital europea, los servicios de confianza y las credenciales verificables tendrán un papel creciente. Para los agentes, la distinción entre identificar a una persona, demostrar una atribución y autorizar una acción será crítica.
Un agente puede presentar una credencial válida y aun así no estar autorizado para realizar cualquier operación asociada a ella. La identidad del sistema, la identidad del operador humano y la delegación concreta deben quedar separadas. En una transacción de alto impacto, la entidad debería poder demostrar quién inició la instrucción, qué agente la procesó, qué credenciales utilizó y qué persona autorizó el paso irreversible.
La expansión de identidades digitales no convierte al agente en un firmante humano. Las organizaciones que mezclen esos papeles crearán una zona gris difícil de defender ante un fraude o una disputa contractual.
En sociedades sujetas a SOX, la IA agéntica puede afectar a controles sobre información financiera, accesos, cambios de sistemas y segregación de funciones. La sección 404 de la Sarbanes-Oxley Act exige evaluar y reportar la eficacia del control interno sobre la información financiera. Si un agente cambia datos contables, prepara asientos, reconcilia cuentas o modifica controles, la pregunta no es si utiliza inteligencia artificial, sino si el control sigue siendo fiable, reproducible y revisable.
CSRD introduce otra presión. Cuando una entidad utiliza agentes para recopilar, clasificar o consolidar información de sostenibilidad, la trazabilidad de las fuentes y la cadena de revisión importan tanto como el resultado final. Un sistema que produce una cifra ambiental sin conservar el origen del dato, las transformaciones y las aprobaciones crea un problema de aseguramiento, no solo de calidad de datos.
En el ámbito sanitario, HIPAA obliga a proteger la información médica protegida mediante salvaguardas administrativas, físicas y técnicas. Un agente que resume historiales o coordina autorizaciones debe estar limitado por identidad, finalidad y necesidad de acceso. No necesita leerlo todo para hacer su trabajo; necesita leer exactamente lo que su tarea exige.
NIST CSF 2.0 ofrece una estructura útil para ordenar el control: Govern, Identify, Protect, Detect, Respond y Recover. Su valor en este asunto no está en añadir otra etiqueta de cumplimiento, sino en obligar a cubrir el ciclo completo. Gobernar el agente sin detectar sus desvíos es insuficiente. Detectarlos sin capacidad de respuesta es teatro. Recuperar sin aprender mantiene intacto el defecto.
La primera decisión debe ser establecer niveles de autonomía. No todos los agentes necesitan supervisión previa sobre cada paso, pero ningún agente debería recibir permisos indefinidos por defecto.
Un nivel bajo puede limitarse a generar borradores sin acceso de escritura. Un nivel intermedio puede ejecutar tareas internas reversibles con registros y límites de volumen. Un nivel alto puede interactuar con clientes o sistemas sensibles, pero exigir autorización humana antes de acciones externas. Un nivel crítico debería reservarse para procesos en los que una persona autorizada apruebe cada acción irreversible o para los que el agente no tenga permiso de ejecución directa.
Los disparadores de aprobación deben ser concretos. Pueden activarse cuando el importe supera un umbral, cuando la confianza cae por debajo de un nivel definido, cuando se utilizan datos especialmente sensibles, cuando el agente propone una excepción a una política, cuando accede a un nuevo sistema, cuando la acción no puede deshacerse o cuando la cadena de ejecución se aparta del patrón esperado.
El segundo control es la trazabilidad. El registro debe conservar, como mínimo, la versión del modelo, la instrucción recibida, las fuentes consultadas, las herramientas invocadas, los permisos utilizados, las decisiones intermedias relevantes, la respuesta humana y el resultado final. Guardar solo la respuesta final es como conservar únicamente la última página de un expediente de auditoría.
El tercer control es la intervención. Tiene que existir un mecanismo probado para pausar o revocar al agente, invalidar sus credenciales, detener trabajos en curso y revertir acciones cuando sea posible. El botón de apagado debe estar fuera del propio circuito del agente. Pedirle al sistema que deje de actuar no es un control de emergencia si puede ignorar la instrucción o si la orden depende de la misma infraestructura afectada.
El cuarto es la segregación de funciones. La persona que diseña el agente no debería ser necesariamente quien aprueba sus permisos en producción. La función de negocio debe definir el resultado esperado; seguridad debe revisar accesos y amenazas; privacidad debe evaluar tratamientos; riesgo operacional debe valorar la continuidad; y auditoría interna debe comprobar que el control funciona. No hace falta formar un comité para cada chatbot, pero sí evitar que una sola función pueda crear, desplegar y certificar su propia criatura.
El quinto es la prueba adversarial. Los tests deben incluir instrucciones contradictorias, datos manipulados, pérdida de conexión, respuestas incompletas, permisos excesivos, documentos con instrucciones ocultas, uso de herramientas no previstas y objetivos ambiguos. El agente que solo ha sido probado con entradas limpias no ha sido probado; ha sido presentado.
La aprobación humana puede fallar de dos maneras. La primera es la fatiga. Si el agente solicita permiso para cientos de acciones similares, el operador acabará aprobando por hábito. La segunda es la opacidad. Si el sistema no explica por qué necesita una acción, el revisor no puede ejercer criterio y se limita a confiar en la interfaz.
Las entidades deberían medir la tasa de aprobaciones, rechazos, escalados, anulaciones posteriores y acciones detenidas por controles. Una tasa de aprobación cercana al cien por cien no demuestra que el agente sea seguro. Puede demostrar que el humano no está revisando nada.
También conviene separar la supervisión del rendimiento comercial. Si el equipo que aprueba agentes es evaluado por la velocidad de cierre o por el número de casos procesados, la autonomía acabará ampliándose por presión operativa. El conflicto no es teórico: cuanto más útil resulta un agente, más difícil se vuelve para una persona detenerlo sin sentirse responsable del retraso.
El FSB está señalando precisamente esa tensión. La supervisión debe ser más intensa cuando el riesgo es mayor, no cuando queda tiempo libre. La gobernanza debe impedir que la eficiencia se convierta en una excusa para rebajar el control.
Una inspección seria no debería comenzar preguntando qué modelo utiliza la entidad. Debería preguntar qué acciones puede ejecutar y cómo se impide que supere su mandato.
La evidencia más útil sería una combinación de inventario, clasificación, permisos, registros y pruebas. El supervisor debería poder seleccionar un agente concreto y reconstruir su cadena de actuación: objetivo inicial, instrucciones, datos consultados, herramientas empleadas, escalados, aprobaciones, cambios realizados y resultado. Si la entidad no puede hacerlo, su supervisión humana es difícil de creer.
También debería revisarse qué ocurre cuando el sistema falla. ¿Se detiene el proceso o continúa con una ruta alternativa? ¿Quién recibe la alerta? ¿Cuánto tarda en revocarse el acceso? ¿Se informa al cliente si la decisión estaba automatizada? ¿Se conservan las pruebas necesarias para gestionar un incidente DORA, una notificación de NIS2 o una brecha de datos conforme al artículo 33 del GDPR?
La respuesta correcta no será idéntica en una entidad europea, una compañía estadounidense sujeta a SOX o un proveedor sanitario sometido a HIPAA. Pero la lógica es común: responsabilidad identificable, permisos limitados, decisiones trazables y capacidad real de intervención.
Para las entidades europeas, la guía del FSB no crea por sí sola una nueva obligación directamente aplicable. Su importancia está en cómo puede influir en la supervisión de riesgos ya regulados. DORA proporciona el armazón operativo; el AI Act concreta exigencias de supervisión para determinados sistemas; el GDPR protege a las personas afectadas por el tratamiento y las decisiones automatizadas; NIS2 refuerza la gestión del riesgo cibernético en entidades incluidas en su ámbito; y eIDAS 2.0 complica, para bien, la cuestión de identidad y autorización.
La consecuencia práctica es incómoda: una política única de “uso responsable de IA” será insuficiente. La entidad necesitará controles que puedan mapearse simultáneamente a riesgo ICT, privacidad, ciberseguridad, continuidad, conducta, control interno y, cuando corresponda, información financiera o sostenibilidad.
El consejo de administración debería poder responder a cinco preguntas antes de autorizar un agente de alto impacto:
Si la respuesta a cualquiera de ellas depende de “lo que haga el proveedor”, la entidad no ha resuelto el riesgo. Lo ha desplazado a un contrato.
La IA agéntica puede reducir tiempos de operación, acelerar revisiones y mejorar la gestión de grandes volúmenes de información. No hay razón para negar esos beneficios. Lo que sí conviene negar es la fantasía de que la autonomía elimina la responsabilidad.
El FSB ha corregido dos ideas peligrosas. La primera, que todos los casos de uso necesitan el mismo nivel de supervisión. La segunda, que un agente puede entenderse como un empleado digital. Ninguna de las dos describe cómo funcionan estos sistemas ni cómo se gobiernan los riesgos financieros.
La supervisión humana eficaz no consiste en mantener a una persona “en el circuito” por razones ceremoniales. Consiste en diseñar un circuito en el que esa persona pueda comprender, cuestionar y detener una acción antes de que cause un daño. Para conseguirlo hacen falta límites técnicos, autoridad organizativa y registros suficientemente detallados para que un tercero pueda reconstruir los hechos.
Este es el estándar que deberían adoptar bancos, aseguradoras, fintech y proveedores críticos desde ahora, aunque la guía del FSB no tenga la fuerza jurídica de DORA o del AI Act. La regulación suele llegar después de la primera sorpresa. La ingeniería de control tiene la ventaja de que puede llegar antes.
La pregunta decisiva para un comité de riesgos no es si el agente funciona cuando todo sale bien. Es qué ocurre cuando interpreta mal el objetivo, pierde una salvaguarda, utiliza una herramienta indebida o recibe una instrucción manipulada. Si la respuesta depende de que alguien lo detecte a tiempo, ese alguien necesita algo más que una contraseña y buenas intenciones.
Nota editorial
Resumen semanal gratis
Suscríbete al resumen semanal y te avisamos de cada cambio en eIDAS 2.0: wallets de identidad digital, servicios de confianza y privacidad por diseno.
¿Necesitas priorizar acciones ya? Empieza un GAP Assessment eIDAS 2.0.
Aporta contexto, plantea una duda o responde a la conversación. Los comentarios son públicos y moderables.
Cargando comentarios…