Imagen generada por IALa mayoría de las entidades financieras ya ha respondido a la primera pregunta sobre IA generativa: qué puede hacer. La pregunta que empieza a incomodar es otra: quién puede demostrar, dentro de dos años, qué hizo exactamente el sistema, con qué datos, bajo qué aprobación y con qué controles.
Para un banco o una aseguradora europea, el problema no se resuelve prohibiendo ChatGPT ni aprobando una política de veinte páginas que nadie consulta. La gobernanza efectiva exige conectar cuatro piezas que suelen vivir separadas: el inventario de casos de uso, la clasificación jurídica del sistema, los controles técnicos y la evidencia que un supervisor pueda revisar sin aceptar un “lo gestiona el proveedor” como respuesta.
El siguiente caso es ficticio e ilustrativo. Se trata de Iberia Crédito, una entidad mediana europea con 1.200 empleados, actividad de financiación a particulares y pequeñas empresas, una aplicación móvil y varios proveedores tecnológicos externos. La entidad no entrena modelos fundacionales. Consume servicios de IA generativa mediante API y utiliza modelos internos para asistir a sus equipos de operaciones, atención al cliente, fraude y cumplimiento.
El valor del caso no está en el nombre de la entidad, sino en las decisiones. En una organización real, la frontera entre un asistente aparentemente inocuo y un sistema con consecuencias regulatorias puede estar en una sola línea del flujo de trabajo: si la respuesta se limita a resumir una reclamación, el riesgo es uno; si recomienda rechazarla o altera la evaluación de solvencia, es otro completamente distinto.
Iberia Crédito comenzó con 37 experimentos registrados en distintos departamentos. El inventario inicial incluía un asistente para redactar respuestas a clientes, un buscador interno de políticas, un clasificador de documentos de siniestros, un generador de código, un analista de alertas de fraude y un modelo que proponía prioridades para revisar solicitudes de crédito.
El primer error fue tratarlos como si todos fueran “IA generativa”. La etiqueta tecnológica no basta para aplicar el AI Act. La evaluación debe partir de la función del sistema, de las personas afectadas, de los datos tratados y de la decisión que el resultado puede provocar.
El comité de IA de la entidad reformuló cada registro con seis preguntas operativas:
Este último punto es donde muchos inventarios se quedan cortos. Registrar “asistente de productividad” no sirve si el asistente resume expedientes de clientes en una plataforma externa. Tampoco basta con registrar el nombre del proveedor: hay que identificar el modelo, la versión, el endpoint, la región de procesamiento, la retención de entradas y salidas y la posibilidad de que los datos se utilicen para entrenamiento.
El registro de Iberia Crédito acabó incorporando un identificador único por caso de uso, propietario de negocio, propietario técnico, finalidad, usuarios autorizados, fuentes de datos, modelo utilizado, nivel de riesgo, controles, fecha de aprobación, cambios de versión y fecha de retirada prevista. La diferencia entre un inventario y una hoja de cálculo decorativa está en si permite responder qué cambió y quién lo autorizó.
El Reglamento (UE) 2024/1689, el AI Act, no clasifica los sistemas por el entusiasmo del departamento de innovación. El artículo 6 y el anexo III sitúan determinados usos en la categoría de alto riesgo. Para entidades financieras, la conexión más delicada aparece en los sistemas utilizados para evaluar la solvencia de personas físicas o establecer su puntuación crediticia, salvo los sistemas utilizados para detectar fraude financiero.
La excepción sobre fraude no convierte automáticamente en bajo riesgo todo sistema antifraude. Un modelo puede estar orientado a detectar patrones de fraude y, al mismo tiempo, producir efectos adversos sobre clientes concretos. La clasificación exige analizar la finalidad principal y el funcionamiento real del proceso, no la descripción comercial del proyecto.
En el caso de Iberia Crédito, el asistente que redactaba respuestas para el centro de atención se clasificó inicialmente como bajo riesgo. La revisión descubrió que también sugería si una reclamación debía considerarse “probablemente improcedente” y asignaba prioridad a los expedientes. Aunque un empleado tomaba la decisión final, la salida del sistema influía en el acceso efectivo a la revisión humana. El caso tuvo que separarse en dos funciones: generación de borradores, por un lado, y priorización de reclamaciones, por otro.
La segunda función no podía aprobarse con la misma evaluación. Al afectar a la gestión de derechos de clientes y a la asignación de recursos de revisión, exigía controles reforzados de supervisión, trazabilidad y pruebas de sesgo. No todo sistema que participa en una decisión es automáticamente de alto riesgo, pero tampoco desaparece el riesgo porque alguien pulse el botón final. Llamar “humano en el circuito” a una persona que solo valida recomendaciones en tres segundos es una forma elegante de describir una automatización.
La matriz de clasificación de la entidad estableció cuatro salidas:
La categoría debe quedar justificada por escrito. El expediente incluye la finalidad, el artículo o categoría aplicada, las alternativas descartadas y la aprobación del responsable de cumplimiento. Si la entidad solo conserva una etiqueta sin razonamiento, no tiene una clasificación: tiene una opinión difícil de defender.
El calendario del AI Act importa porque en octubre de 2026 ya no estamos ante una obligación futura de alfabetización o ante una conversación preliminar sobre gobernanza. El Reglamento entró en vigor el 1 de agosto de 2024. Las obligaciones sobre prácticas prohibidas y alfabetización en IA de los artículos 5 y 4 empezaron a aplicarse el 2 de febrero de 2025. Las reglas sobre modelos de propósito general comenzaron a aplicarse el 2 de agosto de 2025. La aplicación general del Reglamento opera desde el 2 de agosto de 2026, mientras que determinadas obligaciones para sistemas de alto riesgo integrados en productos regulados tienen el horizonte del 2 de agosto de 2027.
Para Iberia Crédito, la consecuencia práctica fue abandonar la idea de que todos los controles podían esperar a la “industrialización”. El piloto que procesa expedientes reales ya está dentro del perímetro de gobierno. La entidad estableció que ningún caso de uso podía pasar de datos sintéticos a datos de clientes sin una nueva evaluación aprobada. Tampoco podía cambiar de modelo, región de procesamiento o proveedor mediante una simple modificación de configuración.
El artículo 4 del AI Act obliga a proveedores y entidades que despliegan sistemas de IA a adoptar medidas de alfabetización en IA adecuadas a las capacidades, experiencia, formación y contexto de uso de las personas implicadas. Iberia Crédito convirtió esa obligación en perfiles concretos. Un empleado que utiliza un buscador interno no necesita la misma formación que un analista que revisa recomendaciones de solvencia. El programa incluye límites de uso, señales de alucinación, reglas para introducir datos personales, escalado de incidentes y prohibición de presentar una salida generada como una decisión humana sin revisión.
La evidencia no es el certificado de asistencia a un curso genérico. Es el temario por perfil, la fecha, la evaluación de comprensión, los casos prácticos, la lista de usuarios autorizados y la retirada de permisos cuando alguien cambia de función. El supervisor no necesita saber que la plantilla recibió una presentación sobre IA; necesita saber si las personas que utilizan un sistema concreto entienden sus límites.
El equipo de seguridad de Iberia Crédito introdujo una puerta de entrada técnica y otra jurídica. La puerta técnica impedía que un nuevo endpoint se conectara a sistemas internos sin identificación del modelo, autenticación fuerte, límites de consumo, filtrado de secretos y registro de llamadas. La puerta jurídica bloqueaba el paso si no existían finalidad aprobada, base jurídica, evaluación de impacto cuando procediera y contrato con el proveedor.
Para los sistemas de alto riesgo, el AI Act exige un sistema de gestión de riesgos durante el ciclo de vida, documentación técnica, conservación de registros y medidas de supervisión y seguridad. Los artículos 9, 11, 12, 14 y 15 son especialmente relevantes para una entidad regulada: gestión de riesgos, documentación técnica, registro automático, supervisión humana y requisitos de precisión, robustez y ciberseguridad.
La entidad convirtió esas obligaciones en controles verificables:
La trazabilidad de entradas plantea una tensión con la minimización de datos del artículo 5.1.c del GDPR. Guardarlo todo “por si acaso” incumple el principio de minimización; no guardar nada impide investigar una decisión. Iberia Crédito resolvió la tensión con una política de registros por capas: conserva metadatos y resultados de control durante el periodo definido para auditoría; conserva el contenido completo solo cuando existe una finalidad documentada, acceso restringido y plazo de borrado; y utiliza identificadores pseudonimizados para las pruebas.
El registro de prompts también necesitó reglas. Los empleados no podían copiar el expediente completo de un cliente en una interfaz pública. El sistema detectaba números de cuenta, identificadores nacionales y determinados patrones de información médica antes de enviar una petición a un proveedor externo. Las excepciones requerían un entorno contractual y técnico autorizado.
La gobernanza de IA generativa suele reducir el GDPR a una pregunta: “¿Cuál es la base jurídica?”. Esa pregunta es necesaria, pero insuficiente. Los artículos 5, 6, 9, 13 a 15, 22, 25 y 32 obligan a examinar minimización, transparencia, categorías especiales, derechos, decisiones automatizadas, protección desde el diseño y seguridad del tratamiento.
En Iberia Crédito, el asistente de atención al cliente generaba respuestas a partir de reclamaciones que podían incluir información financiera y, ocasionalmente, datos de salud en solicitudes relacionadas con seguros de pago. La entidad decidió no enviar esos campos al modelo generativo. Un servicio de extracción local identificaba la información necesaria y eliminaba el resto antes de generar el borrador.
La medida no eliminaba todos los problemas. El responsable del tratamiento debía documentar la finalidad, la base jurídica, los destinatarios, las transferencias internacionales y los plazos de conservación. Si el proveedor actuaba como encargado, el contrato debía cubrir las instrucciones, la confidencialidad, la seguridad, la subcontratación y la asistencia. Si utilizaba los datos para sus propios fines, el análisis cambiaba: el contrato no podía disimular una relación independiente con una cláusula genérica.
El artículo 22 del GDPR requiere especial atención cuando la salida del sistema produce una decisión basada únicamente en tratamiento automatizado con efectos jurídicos o significativamente similares. La presencia de un empleado no resuelve el problema si su intervención es puramente formal. Iberia Crédito estableció tres condiciones para considerar efectiva la revisión humana: acceso a la información relevante, capacidad para apartarse de la recomendación sin penalización operativa y obligación de justificar la decisión en los casos de discrepancia.
La evaluación de impacto relativa a la protección de datos se integró con la evaluación del sistema de IA, pero no se sustituyeron. La primera analiza riesgos para los derechos y libertades derivados del tratamiento; la segunda cubre el comportamiento, el rendimiento y los riesgos del sistema. Un informe de impacto de privacidad no demuestra que el modelo sea robusto frente a una instrucción adversarial. Tampoco un informe de seguridad demuestra que los clientes hayan recibido la información exigida por los artículos 13 y 14.
Para una entidad financiera, contratar una API de IA no es solo una decisión de compras. DORA, el Reglamento (UE) 2022/2554, exige gestionar el riesgo derivado de las tecnologías de la información y la comunicación y establece obligaciones específicas sobre terceros proveedores de servicios TIC.
El artículo 5 de DORA sitúa la responsabilidad última en el órgano de dirección. Los artículos 6 a 16 exigen un marco de gestión del riesgo TIC, incluidos identificación, protección, detección, respuesta, recuperación y aprendizaje. El artículo 28 obliga a gestionar el riesgo asociado a terceros TIC, mientras que el artículo 30 fija elementos contractuales esenciales.
Iberia Crédito añadió cada proveedor de IA al registro de información de contratos TIC y clasificó el servicio según su criticidad. Un modelo usado para redactar comunicaciones internas no recibió el mismo tratamiento que un componente que apoya la evaluación de solicitudes o que interviene en una función crítica. La clasificación debía considerar la dependencia, la sustituibilidad, la concentración, el acceso a datos y el impacto de una interrupción.
El contrato con el proveedor incluía, como mínimo, descripción clara del servicio, ubicaciones de tratamiento, subcontratistas, niveles de disponibilidad, asistencia en incidentes, derechos de auditoría, cooperación con autoridades, devolución o eliminación de datos y condiciones de terminación. Para un servicio generativo, la entidad añadió preguntas que los contratos TIC tradicionales no suelen responder: ¿puede el proveedor cambiar el modelo sin aviso? ¿Qué versión procesa cada petición? ¿Cuánto tiempo conserva los prompts? ¿Utiliza las entradas para entrenamiento? ¿Qué ocurre cuando una actualización altera la tasa de falsos positivos?
La salida de un modelo puede ser incorrecta; la dependencia del proveedor puede ser igualmente peligrosa. La entidad probó una ruta alternativa con un segundo proveedor y una operación degradada basada en reglas. No pretendía mantener dos modelos idénticos en producción por estética arquitectónica, sino demostrar que podía mantener el servicio esencial si el endpoint principal fallaba o si debía retirarlo por un incidente de seguridad.
El plan de pruebas incluyó indisponibilidad, aumento de latencia, respuesta vacía, degradación de calidad, cambio no anunciado de versión y filtración de información entre contextos. Cada escenario tenía un umbral y un responsable. La continuidad no se mide por la existencia de un PDF titulado “plan de contingencia”, sino por saber cuánto tiempo puede funcionar la entidad sin el proveedor y qué proceso manual se activa.
NIS2, la Directiva (UE) 2022/2555, refuerza las medidas de gestión de riesgos de ciberseguridad en el artículo 21 y la responsabilidad de los órganos de dirección en el artículo 20. Aunque la clasificación sectorial y la transposición nacional determinan el perímetro exacto, una entidad financiera no debería utilizar la duda sobre aplicabilidad como excusa para excluir la IA de su sistema de seguridad.
El artículo 21 exige medidas técnicas, operativas y organizativas proporcionadas para gestionar los riesgos que afectan a la seguridad de las redes y sistemas de información. En una arquitectura generativa, eso incluye control de acceso, gestión de vulnerabilidades, seguridad de la cadena de suministro, criptografía cuando proceda, gestión de incidentes, continuidad y evaluación de la eficacia de las medidas.
El equipo de Iberia Crédito incorporó los componentes de IA a su inventario de activos y a su proceso de gestión de vulnerabilidades. No solo registró el servidor o la API: también documentó librerías de recuperación de información, conectores a bases internas, almacenes de embeddings, claves de servicio y permisos de los agentes. Un sistema puede no tener un CVE propio y seguir introduciendo una superficie de ataque considerable.
Las pruebas cubrieron prompt injection indirecta mediante documentos contaminados, exfiltración a través de instrucciones ocultas, abuso de herramientas conectadas y envenenamiento de la base documental. El modelo no debía poder ejecutar pagos, modificar límites de crédito ni enviar comunicaciones externas sin controles fuera del propio modelo. La regla fue sencilla: la IA puede proponer; los sistemas deterministas y las autorizaciones humanas deciden qué acción se ejecuta.
Los incidentes se clasificaron por impacto. Una respuesta alucinada corregida antes de llegar a un cliente no equivale a la exposición de cien expedientes por una mala configuración de recuperación. El procedimiento conectaba el registro de incidentes de IA con el proceso general de ciberseguridad y, cuando había datos personales comprometidos, con el análisis de notificación del artículo 33 del GDPR. No todos los errores de IA son brechas de datos, pero toda brecha que implique IA necesita reconstruir también la cadena de instrucciones, proveedores y registros.
El artículo 14 del AI Act exige que los sistemas de alto riesgo estén diseñados para permitir una supervisión humana efectiva. La palabra decisiva es “efectiva”. Un supervisor necesita comprender las capacidades y limitaciones del sistema, detectar anomalías, interpretar la salida y decidir no utilizarla.
Iberia Crédito descubrió que su procedimiento original fallaba en el punto más humano de todos: el tiempo. Los analistas debían revisar 80 recomendaciones diarias y el sistema mostraba una tasa de aceptación superior al 96 %. Esa cifra parecía un éxito hasta que se comprobó que la interfaz ocultaba los casos en los que el modelo tenía baja confianza y que los empleados no podían ver los factores que habían llevado a la recomendación.
La entidad rediseñó la pantalla para mostrar fuentes, nivel de confianza calibrado, datos ausentes, historial de cambios y posibilidad de solicitar una segunda revisión. Estableció que determinadas salidas no podían generar una acción automática y que los casos con datos contradictorios debían escalarse. También midió la tasa de anulación humana. Una tasa de anulación muy baja no prueba que el sistema sea correcto; puede probar que el proceso humano está subordinado al sistema.
La supervisión debe tener autoridad operativa. El empleado que puede rechazar una recomendación pero es penalizado por tardar más deja de ser un supervisor y se convierte en una extensión del modelo. Esta es una de las evidencias que un supervisor prudente pediría: registros de anulaciones, tiempos de revisión, formación del personal, criterios de escalado y ejemplos de decisiones humanas que se apartaron de la salida automática.
Iberia Crédito creó un expediente de control por caso de uso. No es un dossier ornamental preparado para la visita del regulador, sino una colección viva de evidencias vinculada al ciclo de vida del sistema.
| Control | Responsable | Evidencia mínima | Pregunta que responde |
|---|---|---|---|
| Clasificación jurídica | Compliance y negocio | Memoria de clasificación, finalidad, artículo aplicado y aprobación | ¿Por qué este sistema está en esta categoría? |
| Datos y privacidad | DPO y arquitectura | Inventario de datos, base jurídica, DPIA cuando proceda, reglas de minimización | ¿Qué datos entran y por qué? |
| Modelo y cambios | Responsable técnico | Versión, pruebas, métricas, registro de cambios y criterios de retirada | ¿Qué sistema produjo esta salida? |
| Supervisión humana | Negocio y riesgo | Roles, formación, logs de revisión, anulaciones y escalados | ¿Quién podía detenerlo y lo hizo? |
| Proveedor TIC | Compras, legal y resiliencia | Contrato, subcontratistas, SLA, auditorías, plan de salida y pruebas de continuidad | ¿Qué ocurre si el proveedor falla? |
| Seguridad | CISO | Threat model, pruebas adversariales, controles de acceso, incidentes y remediación | ¿Puede manipularse o extraerse información? |
La tabla no sustituye a los documentos, pero obliga a localizar al propietario de cada evidencia. El agujero habitual está entre compliance y seguridad: el primero conserva la política; el segundo, los logs; nadie conserva la decisión que conecta ambos. En Iberia Crédito, cada aprobación incluía el identificador de la versión del modelo y el hash de la configuración desplegada. Así, una revisión posterior podía demostrar que el sistema probado era el mismo que produjo la salida cuestionada.
Un supervisor no necesita que la entidad prometa que la IA nunca se equivoca. Esa promesa sería menos creíble que útil. Necesita ver que la entidad conoce dónde puede fallar, ha limitado el impacto y puede detectar, corregir y explicar el fallo.
En una revisión, las preguntas previsibles serían concretas:
La última pregunta suele revelar la madurez real. Una entidad que afirma no haber tenido incidentes puede no estar midiendo alucinaciones, sesgos, fugas de información o fallos de supervisión. Iberia Crédito creó un registro de “eventos de calidad y control” que incluía resultados incorrectos, uso no autorizado de datos, respuestas no explicables, desviaciones de rendimiento y errores de clasificación. No todos generaban una notificación externa, pero todos alimentaban el proceso de mejora.
El primer error es comprar una herramienta de IA y pedir después a compliance que encuentre una finalidad. La finalidad debe existir antes de seleccionar el proveedor, porque condiciona datos, arquitectura, controles y evaluación legal.
El segundo es confundir un modelo aprobado con un caso de uso aprobado. El mismo modelo puede resumir una política interna y participar en una recomendación de crédito. La gobernanza debe aprobar la combinación de modelo, datos, usuarios, finalidad y acción posterior.
El tercero es aceptar la documentación del proveedor como sustituto de la propia diligencia. Las fichas técnicas y los informes de evaluación son útiles, pero no describen necesariamente la configuración concreta de la entidad, sus conectores, sus datos ni el comportamiento en castellano o en los idiomas de sus clientes.
El cuarto es registrar solo el prompt y olvidar la salida y la acción final. Para investigar una reclamación hace falta reconstruir la secuencia completa: qué información estaba disponible, qué versión respondió, qué vio el empleado, si modificó la salida y qué decisión tomó la entidad.
El quinto es tratar la formación como un vídeo obligatorio. El artículo 4 del AI Act habla de alfabetización adecuada al contexto. Un curso idéntico para un desarrollador, un agente de atención y un miembro del comité de riesgos es una solución administrativa, no una medida de control.
El sexto es confiar en el “human in the loop” sin comprobar incentivos. Si el modelo decide de facto y la persona solo confirma, la entidad conserva la responsabilidad pero pierde la capacidad de explicar la decisión. Es el peor de los dos mundos.
La gobernanza madura no se mide por cuántos casos de uso aprueba, sino por cuántos rechaza con argumentos. Iberia Crédito descartó un asistente que proponía respuestas individualizadas para clientes en situación de vulnerabilidad porque no podía demostrar que las recomendaciones fueran consistentes ni que el proveedor permitiera controlar la reutilización de las conversaciones. También congeló un clasificador de solicitudes hasta disponer de métricas separadas por grupos relevantes y un proceso de revisión humana con capacidad real.
El coste de no desplegar un sistema es visible: retraso, presupuesto desaprovechado o frustración del área de negocio. El coste de desplegarlo mal aparece después en forma de reclamaciones, investigaciones, interrupciones, contratos difíciles de rescindir y decisiones que nadie puede reconstruir. En finanzas, la velocidad de un piloto no compensa la opacidad de una decisión.
La entidad aprobó únicamente aquellos casos en los que podía responder afirmativamente a cuatro preguntas: ¿sabemos qué función cumple?, ¿sabemos qué datos necesita?, ¿podemos controlar y revisar su salida?, ¿podemos retirar el sistema sin detener una función esencial? Si alguna respuesta era negativa, el caso volvía a diseño o se archivaba.
La IA generativa no necesita una burocracia paralela. Necesita que los controles existentes —riesgo operacional, privacidad, seguridad, contratación, continuidad y auditoría— dejen de tratarla como una curiosidad experimental.
El AI Act aporta la clasificación y las obligaciones específicas. DORA obliga a mirar el riesgo TIC y la dependencia del proveedor. NIS2 refuerza la gestión de riesgos de ciberseguridad y la responsabilidad del órgano de dirección. GDPR limita los datos, exige transparencia y pone condiciones a la automatización de decisiones. Ninguno de estos instrumentos permite trasladar la responsabilidad al modelo o al proveedor.
Para un CISO y un responsable de cumplimiento, la prueba decisiva es sencilla: escoger un caso de uso activo y reconstruir su historia completa en una hora. Quién lo aprobó, qué artículo aplicó, qué datos utilizó, qué versión respondió, qué controles estaban activos, qué hizo la persona y qué ocurre si el proveedor desaparece mañana. Si la respuesta exige perseguir correos electrónicos por cinco departamentos, la gobernanza todavía está en fase de piloto.
El objetivo no es que la IA parezca controlada en una presentación para el comité. Es que la entidad pueda demostrarlo cuando la salida sea errónea, el proveedor cambie el modelo, un cliente ejerza sus derechos o un supervisor pregunte por qué se tomó una decisión. Ahí termina la innovación de escaparate y empieza el control efectivo.
Nota editorial
Resumen semanal gratis
Suscríbete al resumen semanal de regulación, vulnerabilidades explotadas y acciones para tu equipo.
¿Quieres un plan a medida? Modela tu organización con Agentic Digital Twin.
Aporta contexto, plantea una duda o responde a la conversación. Los comentarios son públicos y moderables.
Cargando comentarios…