Imagen generada por IAEl problema de la IA generativa en una entidad regulada no es que un empleado copie información confidencial en un chatbot. Ese incidente es visible, fácil de explicar y, con suerte, fácil de contener. El problema serio es otro: que la entidad no sepa cuántos sistemas de IA utiliza, qué decisiones influyen, con qué datos se entrenan o consultan, quién los ha aprobado y qué evidencia puede entregar cuando llegue una auditoría.
En noviembre de 2026, la pregunta ya no es si la banca, los seguros y las fintech europeas pueden experimentar con modelos generativos. Lo hacen desde hace tiempo: asistentes para analistas, clasificación de reclamaciones, generación de código, resumen de expedientes, detección de fraude, soporte a clientes y automatización de controles. La pregunta es si pueden demostrar que esos experimentos están bajo control.
El AI Act ofrece el armazón jurídico, pero no un manual de gobierno listo para pegar en una política interna. Sus artículos 4, 6, 14, 26, 27, 50 y 53 obligan a tomar decisiones distintas según el uso, el proveedor, el tipo de dato y el efecto sobre una persona. DORA añade una capa que suele infravalorarse: la IA generativa es también un activo tecnológico, un servicio de terceros y, en algunos casos, una fuente de riesgo operativo. GDPR no desaparece porque el modelo se llame “asistente”. Y NIS2 exige que la gestión de riesgos cubra la cadena tecnológica y la seguridad de los sistemas de información.
El resultado es incómodo pero útil: una política genérica de “uso responsable de la IA” no demuestra cumplimiento. Un supervisor o auditor buscará registros, decisiones, pruebas y responsables. La entidad que solo tenga una declaración de principios tendrá exactamente eso: principios. Y muy poca defensa.
El inventario de IA no debe ser una lista de herramientas compradas por el departamento de innovación. Tiene que ser un registro operativo de casos de uso. La unidad correcta no es necesariamente el modelo, sino la combinación de modelo, proceso, datos, proveedor y efecto.
Un mismo modelo comercial puede ser un riesgo bajo cuando resume una circular interna y un sistema de alto impacto cuando recomienda aceptar o rechazar una solicitud de crédito. Del mismo modo, un modelo desarrollado internamente para clasificar correos puede quedar sujeto a controles tecnológicos diferentes de los aplicables a una funcionalidad de un proveedor externo que procesa conversaciones de clientes.
Como mínimo, cada entrada del inventario debería identificar:
Esta granularidad permite detectar un fallo frecuente: el inventario de compras no coincide con el inventario real. Las APIs se contratan desde ingeniería, los complementos de productividad desde compras y los copilotos se activan por usuarios con privilegios administrativos. Si el registro solo recoge adquisiciones centralizadas, no es un inventario; es una fotografía parcial de la facturación.
La trazabilidad debe incluir también las versiones. Si un proveedor cambia el modelo subyacente sin cambiar el nombre comercial, la entidad puede estar utilizando un sistema materialmente distinto sin haberlo revalidado. El contrato debería exigir notificación de cambios relevantes, información sobre versiones y capacidad de retirar o limitar la funcionalidad. DORA art. 30 exige que los contratos con proveedores TIC cubran elementos como niveles de servicio, seguridad, acceso a información, asistencia en incidentes, auditoría y terminación. Para un servicio de IA, esos términos deben traducirse a hechos concretos: conservación de prompts, uso de datos para entrenamiento, subencargados, disponibilidad de logs, residencia, controles de acceso y procedimiento para desactivar el servicio.
El AI Act utiliza un enfoque basado en el riesgo. La clasificación no depende de que el departamento de marketing describa una herramienta como “copiloto”, “asistente” o “automatización inteligente”. Depende de su finalidad prevista y de cómo se utiliza.
Los sistemas prohibidos por el artículo 5 no son una categoría para debates académicos. Incluyen determinadas prácticas de manipulación, explotación de vulnerabilidades y ciertos usos de categorización biométrica o reconocimiento de emociones. El comité de aprobación debe documentar que ha descartado esas finalidades, especialmente cuando una solución comprada puede configurarse para funciones adicionales.
Los sistemas de alto riesgo son el punto de mayor exposición para entidades financieras. El artículo 6 y el anexo III incluyen, entre otros, sistemas utilizados para evaluar la solvencia o establecer la puntuación crediticia de personas físicas, salvo los destinados a detectar fraude financiero, así como sistemas de evaluación de riesgos y fijación de precios en seguros de vida y salud. La excepción relativa a la detección de fraude no convierte automáticamente en bajo riesgo todo modelo antifraude. La finalidad concreta, el impacto y la función real del sistema importan más que el nombre del proyecto.
El artículo 6.3 permite que determinados sistemas incluidos en el anexo III no se consideren de alto riesgo cuando cumplen condiciones específicas, por ejemplo, realizar una tarea procedimental limitada, mejorar el resultado de una actividad humana previa o detectar patrones sin sustituir la evaluación humana. Esa puerta no debe convertirse en una fórmula automática. La entidad necesita conservar el análisis que explique por qué la salida no determina la decisión, qué margen real tiene el empleado y qué sucede cuando el profesional se aparta de la recomendación.
Hay una frontera especialmente relevante para los asistentes generativos. Un sistema que resume documentación para un analista puede tener un perfil distinto de otro que redacta una recomendación de crédito con puntuación, justificación y propuesta de límite. En ambos casos aparece texto generado, pero solo uno puede influir de forma estructural en una decisión regulada. El inventario debe describir el flujo completo, no solo la interfaz.
La clasificación de alto riesgo activa obligaciones más exigentes para proveedores y responsables del despliegue. El artículo 14 exige supervisión humana adecuada. El artículo 12 exige capacidades de registro automático para determinados sistemas de alto riesgo y el artículo 26 impone obligaciones al deployer, incluida la utilización conforme a instrucciones, la monitorización y la conservación de logs cuando estén bajo su control durante al menos seis meses, salvo que otro derecho aplicable exija más tiempo. El artículo 27 exige a determinados deployers una evaluación de impacto sobre derechos fundamentales antes del primer uso y cuando cambien condiciones relevantes.
La planificación temporal también importa. Las prohibiciones y las obligaciones de alfabetización en IA del artículo 4 empezaron a ser aplicables el 2 de febrero de 2025. Las obligaciones para modelos de propósito general se aplican desde el 2 de agosto de 2025, con matices para determinados proveedores y modelos ya comercializados. Para la mayor parte de las obligaciones del reglamento, la fecha general de aplicación es el 2 de agosto de 2026; los sistemas de alto riesgo integrados en productos regulados sujetos al anexo I tienen un régimen temporal distinto, con aplicación prevista el 2 de agosto de 2027. Una entidad que espere a la fecha de aplicación para empezar a construir evidencias llegará tarde: las decisiones de arquitectura, contratación y datos no se corrigen con una presentación de PowerPoint.
El control efectivo empieza antes del primer prompt productivo. Cada caso de uso debería pasar por un expediente de aprobación proporcional al riesgo. No hace falta convertir una herramienta para resumir políticas internas en un comité de crédito, pero sí hay que evitar que la proporcionalidad se convierta en ausencia de control.
El expediente debería responder a seis preguntas operativas: qué hace el sistema, qué puede salir mal, quién puede resultar afectado, qué controles reducen el riesgo, cómo se medirá el rendimiento y quién puede detenerlo.
Para un asistente que resume expedientes de reclamaciones, por ejemplo, la evaluación debería incluir pruebas de omisión de hechos, invención de referencias, errores en fechas, tratamiento de documentos contradictorios y filtración entre clientes. Para un modelo que ayuda a detectar operaciones sospechosas, habría que medir falsos positivos, falsos negativos, estabilidad por segmento, rendimiento ante cambios de comportamiento y efecto de la recomendación sobre la carga de trabajo de los analistas.
La aprobación debe diferenciar entre capacidad y autorización. Que un modelo pueda generar una decisión no significa que el proceso permita utilizarlo para decidir. Las restricciones deben quedar configuradas y verificables: sin acceso a producción, sin envío automático al cliente, sin uso de datos personales, sin conexión a sistemas de pagos o con revisión humana obligatoria.
El artículo 4 del AI Act exige medidas de alfabetización en IA para proveedores y deployers. Una formación anual genérica sobre “riesgos de la inteligencia artificial” es difícil de defender como alfabetización efectiva. Un empleado que utiliza un modelo para resumir contratos necesita conocer alucinaciones, datos confidenciales y verificación de fuentes. Un analista que recibe una recomendación de crédito necesita comprender límites del modelo, sesgos, señales de incertidumbre y procedimiento de escalado. La evidencia útil será el contenido de la formación, su relación con cada rol, los resultados de una prueba y la fecha de actualización, no solo una lista de asistentes.
La trazabilidad de un sistema generativo no consiste en guardar una captura de pantalla cuando algo sale mal. La entidad debe poder reconstruir qué ocurrió sin almacenar más información personal de la necesaria.
Para cada interacción relevante conviene registrar, con controles de acceso y retención definidos, al menos:
Guardar todo indefinidamente no es una solución. GDPR art. 5 exige limitación de la finalidad y minimización de datos; el art. 25 obliga a aplicar protección de datos desde el diseño y por defecto; el art. 32 exige medidas técnicas y organizativas apropiadas. Los prompts pueden contener identificadores, información financiera, datos de salud o secretos profesionales. La política de logs debe definir qué se registra en claro, qué se pseudonimiza, quién accede, cuánto tiempo se conserva y cuándo se elimina.
Cuando el procesamiento pueda generar un alto riesgo para derechos y libertades, GDPR art. 35 exige una evaluación de impacto relativa a la protección de datos. En una herramienta que analiza reclamaciones médicas o utiliza perfiles para evaluar fraude, la DPIA no debería ser un documento separado que nadie consulte. Debe conectarse con la evaluación de impacto del artículo 27 del AI Act cuando ambas sean aplicables. El resultado puede ser un expediente integrado, pero las obligaciones no se fusionan mágicamente: una DPIA no sustituye el análisis de derechos fundamentales y una evaluación del AI Act no sustituye el examen de base jurídica, transparencia o transferencias internacionales.
El artículo 22 del GDPR merece una revisión específica cuando la salida de la IA influye en una decisión con efectos jurídicos o igualmente significativos. El “humano en el circuito” no es suficiente si solo confirma automáticamente la recomendación. La supervisión debe ser competente, tener tiempo, acceso a información y autoridad para apartarse del sistema sin penalización operativa. Si el flujo de trabajo mide a los empleados por aceptar las recomendaciones, la revisión humana se convierte en decoración.
Las pruebas previas al despliegue no deberían limitarse a preguntar si el modelo redacta respuestas convincentes. De hecho, esa es una de las métricas menos útiles: los modelos suelen sonar seguros incluso cuando están equivocados.
Un programa de pruebas razonable debe cubrir precisión, robustez, seguridad, privacidad, sesgo, explicabilidad operativa y degradación. La selección de casos debe incluir ejemplos normales y adversariales. En un asistente de cumplimiento, hay que probar instrucciones contradictorias, documentos manipulados, citas inexistentes, información desactualizada y prompts que intenten saltarse las restricciones. En una aplicación conectada a herramientas internas, hay que probar prompt injection indirecta desde documentos, escalada de privilegios, exfiltración de secretos y abuso de funciones.
Las métricas deben relacionarse con el proceso. Para un clasificador de reclamaciones pueden servir precisión, recall, tasa de escalado y error por categoría. Para un generador de respuestas al cliente son más relevantes la tasa de afirmaciones no respaldadas, el porcentaje de respuestas que requieren corrección, el cumplimiento de plantillas obligatorias y el tiempo de revisión. Para una herramienta de programación hay que medir vulnerabilidades introducidas, fallos de pruebas y secretos incluidos en el código.
El resultado debe tener umbrales de aprobación y reglas de parada. Si la tasa de respuestas no verificables supera el umbral definido, la funcionalidad no pasa a producción o se limita a un entorno de bajo impacto. La prueba debe repetirse cuando cambie el modelo, el proveedor, el prompt de sistema, el conjunto de recuperación, el volumen de usuarios o el proceso de negocio. El “modelo aprobado” no es una propiedad eterna.
El AI Act art. 14 coloca la supervisión humana en el centro para los sistemas de alto riesgo. DORA art. 11 y art. 13 exigen capacidades de respuesta, recuperación y aprendizaje frente a incidentes TIC. Traducido a la operación: la entidad necesita un kill switch, un procedimiento de rollback, un canal de escalado y ejercicios que demuestren que funcionan. No basta con saber quién tiene el botón; hay que demostrar que el botón existe, que su uso no requiere cuatro aprobaciones imposibles a las tres de la mañana y que apagar la IA no detiene un proceso crítico sin alternativa.
La dependencia de un proveedor de modelos puede activar simultáneamente varias obligaciones. DORA art. 28 exige gestionar el riesgo de terceros TIC durante todo el ciclo de vida y art. 30 fija elementos contractuales mínimos para servicios TIC que soporten funciones críticas o importantes. La clasificación de un proveedor como “software de productividad” no resuelve si su indisponibilidad impide atender clientes, monitorizar fraude o ejecutar controles regulatorios.
La due diligence debe pedir información que muchos contratos estándar omiten: arquitectura del servicio, subcontratación, ubicación del tratamiento, segregación de tenants, uso de prompts para entrenamiento, retención, controles de abuso, gestión de vulnerabilidades, notificación de cambios, datos de telemetría, acceso a registros y asistencia para investigaciones. También debe definir qué ocurre si el proveedor cambia el modelo, reduce límites, introduce una nueva función de memoria o deja de ofrecer la versión validada.
Si el servicio utiliza un modelo de propósito general, los artículos 53 y 55 del AI Act establecen obligaciones para los proveedores, incluida documentación, políticas para respetar derechos de autor y, en el caso de modelos con riesgo sistémico, obligaciones adicionales de evaluación y mitigación. Eso no descarga al banco o a la aseguradora de sus responsabilidades como deployer. La entidad debe saber qué parte del control corresponde al proveedor y qué parte sigue siendo propia. Un certificado comercial no sustituye la evaluación de uso concreto.
La concentración es otro riesgo. Si toda la atención al cliente, generación de código y análisis documental depende del mismo proveedor, un fallo de servicio o un cambio unilateral afecta a varios procesos a la vez. El análisis de impacto de DORA debería identificar esa concentración, incluso cuando cada contrato individual parezca pequeño. La resiliencia no mejora porque el proveedor tenga una marca conocida; las marcas conocidas también tienen incidentes.
Un auditor o supervisor no necesita empezar por el código fuente para encontrar debilidades. Puede comenzar con una pregunta sencilla: “enséñeme todos los casos de uso de IA que afectan a clientes”. Si la entidad tarda semanas en contestar, el problema ya está identificado.
La evidencia más sólida conecta cada obligación con un artefacto y un responsable. Esta es una estructura útil:
| Área de control | Evidencia esperable | Responsable principal |
|---|---|---|
| Inventario y clasificación | Registro de casos de uso, análisis de finalidad, categoría AI Act, fecha y aprobador | Gobierno de IA y riesgo operacional |
| Datos y privacidad | Mapa de datos, base jurídica, DPIA GDPR art. 35, controles de minimización y transferencias | DPO y propietario del proceso |
| Alto riesgo | Evaluación de impacto del artículo 27, documentación de supervisión humana, pruebas y registro aplicable | Compliance, negocio y segunda línea |
| Seguridad | Resultados de red teaming, pruebas de prompt injection, gestión de secretos, logs y plan de respuesta | CISO y seguridad de aplicaciones |
| Terceros | Due diligence, contrato, subcontratistas, SLA, derechos de auditoría y plan de salida conforme a DORA arts. 28 y 30 | Compras, legal y riesgo TIC |
| Alfabetización | Mapa de roles, contenidos, evaluaciones y registros de formación conforme al AI Act art. 4 | Recursos humanos y gobierno de IA |
| Supervisión continua | Panel de métricas, incidencias, reevaluaciones, cambios de versión y actas de comité | Propietario del sistema |
La diferencia entre una evidencia útil y una carpeta de documentos es la trazabilidad. Una política aprobada en 2025 no prueba que el sistema se comporte igual en 2026. Un test de proveedor no prueba que la entidad haya evaluado su propio flujo. Una certificación ISO del tercero no acredita que el prompt utilizado por el banco cumpla GDPR ni que el empleado revise las respuestas.
El mayor error de gobierno consiste en discutir si la IA es “explicable” en abstracto y no documentar cómo se toman las decisiones concretas. Para una entidad regulada, la pregunta práctica es qué información recibe la persona responsable, qué puede impugnar, qué queda registrado y cómo se corrige un error.
El artículo 86 del AI Act reconoce, bajo sus condiciones, el derecho de la persona afectada a obtener explicaciones claras y significativas sobre el papel del sistema de alto riesgo en un proceso de decisión y sobre los principales elementos de la decisión adoptada. Esa obligación debe reflejarse en los procesos de atención de reclamaciones, revisión de crédito, seguros y recursos internos. Una respuesta del tipo “el algoritmo ha determinado que no cumple los criterios” no explica nada; solo cambia la palabra “no” por una palabra más cara.
La documentación debe permitir reconstruir la cadena: datos considerados, salida del sistema, intervención humana, regla aplicada y resultado final. Cuando el sistema generativo produce una recomendación que no encaja en una categoría estable, el procedimiento debe prever escalado a un experto y no obligar al empleado a elegir la opción más parecida para cerrar el expediente.
NIS2 art. 21 exige medidas de gestión de riesgos de ciberseguridad para las entidades dentro de su ámbito, incluyendo análisis de riesgos, seguridad de la cadena de suministro, gestión de incidentes, continuidad y uso de criptografía cuando proceda. Aunque la aplicabilidad concreta depende del sector y del tipo de entidad, el principio operativo es claro: un sistema de IA conectado a activos críticos debe estar incluido en el análisis de riesgos y en las pruebas de continuidad. NIS2 art. 23 establece obligaciones de notificación de incidentes para entidades cubiertas, con plazos que obligan a tener capacidad de detección y escalado, no solo una política archivada.
El primero es tratar la IA generativa como una herramienta de productividad sin dueño. Si nadie puede responder por el proceso, tampoco nadie puede responder ante un cliente o un supervisor.
El segundo es aplicar el mismo control a todos los usos. Prohibir todo es impracticable; permitir todo es indefendible. La clasificación debe activar controles proporcionales y dejar constancia de por qué un uso queda fuera del alto riesgo.
El tercero es confiar en el “human in the loop” como frase mágica. Un humano que solo valida una recomendación en tres segundos no ejerce supervisión significativa. Hay que observar el comportamiento real: tiempo de revisión, tasa de modificaciones, casos escalados y capacidad de apartarse del modelo.
El cuarto es omitir los datos de prueba. Los modelos pueden funcionar bien en el conjunto agregado y fallar en idiomas, productos, perfiles o situaciones minoritarias. El entorno europeo añade diversidad lingüística y regulatoria; probar solo en inglés y con datos históricos de un mercado no es una validación suficiente para una entidad que opera en varios países.
El quinto es olvidar el cambio. La calidad de una aplicación generativa puede variar por una actualización del proveedor, un cambio en el prompt de sistema, una nueva base documental o una modificación de permisos. El control de cambios debe tratar estos elementos como cambios tecnológicos y de proceso, no como simples ajustes de configuración.
La prioridad no es crear otro comité. Es seleccionar los casos de uso que pueden causar daño material y construir para ellos un expediente que resista preguntas incómodas.
Primero, hay que congelar una fotografía del inventario real mediante datos de compras, registros de API, gestión de identidades, repositorios de código y entrevistas con las áreas de negocio. Segundo, hay que clasificar los casos por finalidad y efecto, no por la etiqueta comercial de la herramienta. Tercero, deben bloquearse los usos sin propietario, sin base jurídica, sin control de datos o sin mecanismo de retirada.
Después conviene elegir dos casos representativos: uno de bajo impacto y otro con posible alto riesgo. El primero sirve para probar que el modelo de gobierno no es desproporcionado; el segundo revela si la entidad puede producir una evaluación del artículo 27, pruebas de supervisión humana, registros y una explicación para el afectado. Si el programa no funciona en esos dos extremos, tampoco funcionará con 150 casos de uso.
El comité de riesgos debe recibir métricas que permitan decidir, no un cuadro de mando decorativo. Entre ellas: número de casos de uso inventariados frente a detectados, porcentaje con propietario, sistemas sin clasificación, incidencias por tipo, cambios de modelo pendientes de reevaluación, porcentaje de usuarios formados por rol, tasa de revisión humana efectiva, falsos positivos y negativos cuando proceda, y tiempo necesario para desactivar un sistema.
La prueba definitiva es una simulación de supervisión. Pida al equipo que entregue en cinco días el inventario completo, el expediente de un caso de alto impacto, los logs de una decisión, la DPIA asociada, el contrato del proveedor, el último test de seguridad y el acta de aprobación. Si la respuesta depende de localizar correos personales, capturas de pantalla y favores a ingeniería, el control aún no existe.
La gobernanza de IA madura cuando la entidad puede explicar tres cosas sin rodeos: qué utiliza, qué riesgo acepta y qué hará cuando el sistema se equivoque. El AI Act fija categorías y obligaciones; DORA, NIS2 y GDPR obligan a integrarlas en la gestión tecnológica, la seguridad y la protección de las personas. El supervisor no necesita que la entidad prometa que su IA es brillante. Necesita que pueda demostrar que sabe cuándo falla, quién responde y cómo se detiene.
Nota editorial
Resumen semanal gratis
Suscríbete al resumen semanal de regulación, vulnerabilidades explotadas y acciones para tu equipo.
¿Quieres un plan a medida? Modela tu organización con Agentic Digital Twin.
Aporta contexto, plantea una duda o responde a la conversación. Los comentarios son públicos y moderables.
Cargando comentarios…