Imagen generada por IALa pregunta que más problemas está generando a las empresas europeas no es si utilizan inteligencia artificial. Es bastante más incómoda: ¿saben exactamente qué modelo utilizan, para qué decisiones y con qué evidencias podrían demostrarlo?
Una entidad puede no entrenar ningún modelo y, aun así, quedar atrapada entre varias capas del Reglamento (UE) 2024/1689, conocido como AI Act. Puede ser usuaria de un modelo de IA de propósito general —GPAI, por sus siglas en inglés—, proveedora de un sistema de IA de alto riesgo o simplemente responsable de desplegar una herramienta sujeta a obligaciones de transparencia. La etiqueta comercial del producto no resuelve la clasificación jurídica. De hecho, suele complicarla.
El reglamento entró en vigor el 1 de agosto de 2024. Sus prohibiciones y obligaciones de alfabetización en IA empezaron a aplicarse el 2 de febrero de 2025; las obligaciones específicas para proveedores de GPAI son aplicables, con carácter general, desde el 2 de agosto de 2025, mientras que determinados sistemas de alto riesgo integrados en productos regulados tienen un calendario posterior. Para los modelos GPAI comercializados antes del 2 de agosto de 2025, el artículo 111 prevé un periodo de adaptación que llega hasta el 2 de agosto de 2027.
Ese calendario no convierte 2026 en un año de espera. Para una organización que compra una API de IA generativa hoy, la cuestión práctica es otra: qué proveedor responde de cada obligación, qué documentación debe exigir el cliente y qué controles internos son necesarios cuando el modelo cambia sin pedir permiso al departamento jurídico.
El AI Act distingue entre el modelo de IA de propósito general y el sistema de IA que lo incorpora o utiliza. El artículo 3 define el GPAI como un modelo con capacidad de realizar una amplia variedad de tareas y que puede integrarse en diferentes sistemas o aplicaciones. Chatbots, asistentes de programación, motores de resumen y herramientas de extracción documental pueden utilizar el mismo modelo base, pero no generan automáticamente el mismo perfil regulatorio.
La clasificación depende también del uso concreto. Un modelo lingüístico utilizado para resumir llamadas internas no equivale a un sistema que recomienda denegar una indemnización, calcula el precio de un seguro de vida o filtra candidatos en un proceso de selección. El primero puede activar obligaciones de transparencia, confidencialidad, protección de datos y seguridad. El segundo puede entrar en las categorías de alto riesgo del artículo 6 y del anexo III.
Aquí aparece la primera decisión que debe tomar un CISO junto con compliance: inventariar por caso de uso, no por proveedor. Un registro que diga “OpenAI”, “Google”, “Microsoft” o “modelo interno” aporta poco si no indica qué función ejecuta el sistema, qué datos recibe, quién revisa sus resultados y qué impacto tiene un error.
La entidad ficticia de este análisis, SegurNova Vida, es una aseguradora europea de tamaño medio con 620 empleados. Utiliza un modelo GPAI externo para tres funciones: resumir expedientes de siniestros, redactar borradores de respuestas para clientes y asistir al equipo médico en la extracción de información de informes. La dirección quiere ampliar el uso para recomendar el precio de pólizas de vida y salud. Esa última propuesta cambia el análisis por completo.
El resumen de un expediente puede ser una herramienta auxiliar. La evaluación o tarificación del riesgo de personas físicas para seguros de vida y salud aparece expresamente en el anexo III, punto 5(b), como categoría de alto riesgo. No basta con afirmar que el empleado conserva la decisión final. Si el sistema influye materialmente en la evaluación o en el precio, la entidad tendrá que analizar si está ante un sistema de alto riesgo y aplicar las obligaciones correspondientes del capítulo III, entre ellas gestión de riesgos, gobernanza de datos, documentación, supervisión humana, precisión, solidez y ciberseguridad.
El artículo 53 concentra las obligaciones generales de los proveedores de modelos de IA de propósito general. No se trata de entregar una ficha comercial con la arquitectura del modelo y una frase sobre “uso responsable”. El proveedor debe elaborar y mantener documentación técnica conforme al anexo XI, facilitar información a los proveedores que integren el modelo en sus sistemas, establecer una política para cumplir el Derecho de la Unión en materia de derechos de autor y publicar un resumen suficientemente detallado del contenido utilizado para entrenar el modelo.
La documentación técnica tiene una finalidad regulatoria concreta: permitir que la Oficina Europea de IA y las autoridades competentes entiendan las capacidades, limitaciones y procesos de desarrollo del modelo. En la práctica, el comprador debería pedir acceso, al menos, a información sobre arquitectura, versión, modalidades de entrada y salida, límites conocidos, evaluaciones realizadas, datos de entrenamiento descritos de forma agregada, medidas de seguridad, procesos de actualización y condiciones de uso previstas.
El artículo 53(1)(d) exige además un resumen del contenido utilizado para el entrenamiento, siguiendo una plantilla elaborada por la Oficina de IA. No equivale a revelar cada documento del corpus. Sí impide que el proveedor se refugie en una declaración genérica del tipo “datos públicos y licenciados”. Para el cliente empresarial, el resumen sirve para evaluar riesgos de propiedad intelectual, procedencia de datos y posibles restricciones de uso.
La política de derechos de autor exigida por el artículo 53(1)(c) tampoco es un adorno documental. El proveedor debe aplicar medidas para cumplir la reserva de derechos prevista en la Directiva (UE) 2019/790 cuando utilice contenidos protegidos para entrenar el modelo. Una organización que incorpora el modelo a un producto dirigido a consumidores debería conservar evidencia de que ha revisado esa política y de que el contrato distribuye correctamente las responsabilidades sobre entradas, salidas y datos proporcionados por el cliente.
Los proveedores establecidos fuera de la Unión no quedan automáticamente fuera del reglamento. El artículo 53 se aplica cuando el modelo se comercializa o se pone en servicio en la Unión. Además, el artículo 54 exige a los proveedores establecidos en terceros países que designen un representante autorizado establecido en la Unión antes de poner el modelo en el mercado europeo. Ese representante debe poder actuar frente a la Oficina de IA y conservar documentación y comunicaciones relevantes.
El artículo 53(2) permite un régimen simplificado para proveedores que publiquen el modelo bajo una licencia libre y de código abierto, siempre que no sea un modelo con riesgo sistémico. La excepción no cubre todas las obligaciones. La política de derechos de autor y el resumen del contenido de entrenamiento siguen siendo relevantes, y el proveedor debe facilitar información sobre el modelo cuando proceda.
Para el comprador, “open source” no debe funcionar como sinónimo de “sin obligaciones”. Un modelo abierto puede carecer de soporte, compromisos de nivel de servicio, parches garantizados o documentación suficiente sobre seguridad. El AI Act no convierte una licencia permisiva en una garantía de resiliencia. SegurNova, por ejemplo, no debería aprobar un modelo descargable para procesar informes médicos solo porque el repositorio indique una licencia abierta.
El AI Act introduce una segunda capa para los GPAI con riesgo sistémico. El artículo 51 establece una presunción cuando la cantidad acumulada de cálculo utilizada para entrenar el modelo supera los 1025 operaciones de coma flotante, o FLOP. La Comisión puede designar también como sistémico un modelo que no alcance ese umbral si presenta capacidades o impacto equivalentes.
La cifra importa, pero no debe convertirse en el único filtro de compras. Los equipos de adquisición rara vez pueden comprobar por sí mismos el volumen de cálculo empleado durante el entrenamiento. Necesitan una declaración contractual del proveedor, mecanismos de actualización y una obligación de notificación cuando una nueva versión del modelo alcance el umbral o cambie sustancialmente sus capacidades.
El artículo 52 regula el procedimiento de clasificación y notificación. Un proveedor que considere que su modelo alcanza el umbral debe notificarlo a la Comisión sin demora y, como máximo, en las dos semanas siguientes. La Comisión puede designar el modelo como sistémico incluso si el proveedor no lo notifica. También puede solicitar información adicional para valorar sus capacidades.
La categoría no describe necesariamente un incidente. Describe una combinación de escala y capacidad cuyo fallo, uso malicioso o comportamiento inesperado podría causar un perjuicio amplio. El artículo 55 impone a estos proveedores obligaciones adicionales: evaluación del modelo mediante protocolos y herramientas estandarizados, pruebas adversariales, evaluación y mitigación de riesgos sistémicos, seguimiento de incidentes graves y garantías adecuadas de ciberseguridad para el modelo y su infraestructura física.
En lenguaje operativo, un proveedor de GPAI con riesgo sistémico debe demostrar más que una batería de benchmarks. Tiene que someter el modelo a escenarios de abuso, analizar riesgos emergentes, investigar incidentes y aplicar controles de seguridad contra robo, manipulación, extracción de pesos y ataques a la cadena de suministro. Para un cliente empresarial, la consecuencia es directa: las preguntas de due diligence deben cubrir también la seguridad del proveedor, no solo la precisión de la aplicación.
SegurNova decide crear un comité de aprobación formado por tecnología, protección de datos, seguridad, negocio, legal y auditoría interna. No empieza con una declaración abstracta de principios. Empieza con tres fichas de caso de uso.
El sistema recibe documentos de clientes, extrae hechos relevantes y genera un resumen para el tramitador. La decisión sobre la cobertura sigue en manos de una persona y el sistema no se utiliza para determinar automáticamente la indemnización.
El equipo no puede cerrar el análisis diciendo “riesgo bajo”. Revisa si el sistema produce contenido sintético que deba identificarse conforme al artículo 50, si trata categorías especiales de datos del artículo 9 del GDPR, si el proveedor conserva las entradas para entrenar versiones futuras y si el contrato permite el uso de información médica. También comprueba la exactitud mediante una muestra representativa de expedientes y define una regla de escalado para discrepancias críticas: una fecha errónea, una exclusión omitida o una condición médica inventada obliga a revisión manual.
El control decisivo no es el porcentaje medio de acierto. Es la identificación de errores que pueden alterar el resultado. Un modelo que resume correctamente 98 de cada 100 documentos puede seguir siendo inaceptable si los dos errores restantes afectan a una exclusión contractual o a un diagnóstico.
El modelo propone correos y cartas, pero no los envía automáticamente. SegurNova incorpora una etiqueta interna que identifica el texto generado, conserva la versión del prompt y exige revisión del empleado. Cuando la salida se comunica directamente al cliente, el equipo jurídico analiza la obligación de informar de que la persona está interactuando con un sistema de IA. El artículo 50 contiene obligaciones de transparencia para determinados sistemas, incluidos los que interactúan directamente con personas físicas y los que generan contenido sintético.
La compañía también bloquea el envío automático de respuestas que contengan decisiones sobre cobertura, precio o rechazo. Esa barrera no sustituye el análisis legal, pero evita que una herramienta desplegada como asistente termine operando como decisor por pura inercia.
La dirección comercial quiere que el modelo analice historiales y recomiende una prima. Aquí el riesgo regulatorio es sustancialmente mayor. El anexo III, punto 5(b), incluye los sistemas destinados a evaluar el riesgo y fijar precios en relación con personas físicas para seguros de vida y salud. SegurNova debe determinar si el sistema entra en esa categoría y, si lo hace, cumplir las obligaciones del capítulo III.
El artículo 9 exige establecer un sistema de gestión de riesgos durante todo el ciclo de vida del sistema de alto riesgo. El artículo 10 regula la gobernanza y gestión de datos, incluida la relevancia, representatividad, ausencia de errores y adecuación de los conjuntos de datos. El artículo 14 exige supervisión humana efectiva, y el artículo 15 reclama niveles adecuados de precisión, solidez y ciberseguridad. Además, el artículo 26 impone obligaciones al responsable del despliegue, entre ellas utilizar el sistema conforme a las instrucciones, monitorizar su funcionamiento y conservar los registros generados automáticamente durante al menos seis meses, salvo que otra norma establezca un periodo distinto.
La empresa decide no utilizar un GPAI generalista para calcular la prima. Encarga un modelo específico, con variables previamente aprobadas por el comité de riesgo, y mantiene el GPAI solo para extraer campos estructurados de documentos. Esa separación reduce la superficie de decisión: el modelo generativo ayuda a preparar datos, pero no determina el precio.
No es una solución mágica. Si la extracción introduce errores sistemáticos por idioma, formato documental o tipo de discapacidad, el modelo posterior recibirá datos defectuosos. Por eso el control debe abarcar la cadena completa, desde el documento original hasta la decisión comercial.
Uno de los puntos más delicados del AI Act está en el artículo 25. Una entidad que utiliza un sistema de alto riesgo puede convertirse en proveedor si cambia sustancialmente el sistema o lo pone en servicio bajo su propio nombre o marca. También debe prestar atención a la transformación de un modelo GPAI en un sistema destinado a una función regulada.
SegurNova no entrena el modelo base, pero desarrolla prompts, conecta fuentes internas, añade un motor de recuperación documental, ajusta instrucciones y ofrece la herramienta a sus mediadores bajo la marca de la compañía. ¿Sigue siendo solo usuaria? La respuesta depende de la configuración concreta, del grado de modificación y del producto que se comercializa. El análisis no puede descansar en la etiqueta “API externa”.
El contrato debe abordar esta posible reasignación de responsabilidades. Como mínimo, debería cubrir:
La cláusula más valiosa puede ser la más poco popular: derecho a no aceptar una actualización automática. Si el proveedor modifica el modelo cada semana, la entidad no tiene un producto estable, sino una dependencia operativa en movimiento. El control de cambios del proveedor debe conectarse con el proceso interno de gestión de cambios. Una nueva versión puede ser una actualización técnica para ventas y un nuevo sistema a efectos de compliance.
El AI Act no exige que todos los clientes mantengan el mismo expediente, pero una entidad regulada necesita poder demostrar por qué aprobó un uso y no otro. SegurNova crea un expediente por caso de uso con seis bloques de evidencia.
El primero es la clasificación: descripción del sistema, proveedor, modelo, finalidad, usuarios, afectados y análisis de si se trata de GPAI, sistema de alto riesgo, sistema sujeto a transparencia o práctica prohibida. El segundo es el flujo de datos: qué información entra, dónde se procesa, si contiene datos personales o categorías especiales, qué se almacena y durante cuánto tiempo.
El tercero es la evaluación de proveedores: documentación del artículo 53, política de derechos de autor, resumen de datos de entrenamiento, controles de seguridad, ubicación de subencargados y procedimiento de incidentes. El cuarto es la validación técnica: métricas por población o idioma, pruebas de robustez, tasa de alucinaciones, ataques de prompt injection y comportamiento ante datos incompletos o contradictorios.
El quinto es la supervisión humana: quién puede aceptar, corregir o rechazar una salida, qué formación recibe y cuándo debe escalar el caso. El sexto es la operación continua: logs, versiones, incidentes, reclamaciones, cambios del proveedor, resultados de monitorización y fecha de revisión.
La obligación de conservar un archivo no convierte la gobernanza en burocracia útil por sí misma. La evidencia debe responder a decisiones concretas. Si un auditor pregunta por qué se autorizó el resumen de siniestros pero se rechazó la tarificación automática, la respuesta debe estar en los riesgos, controles y resultados de las pruebas, no en una política de 70 páginas que nadie consulta.
El AI Act no sustituye al resto del marco europeo. Para SegurNova, el GDPR sigue siendo aplicable cuando el modelo procesa datos personales. El artículo 5 exige que los datos sean adecuados, pertinentes y limitados a lo necesario; el artículo 22 regula determinadas decisiones basadas únicamente en tratamientos automatizados con efectos jurídicos o similares; los artículos 13 y 14 imponen información a los interesados; el artículo 35 puede exigir una evaluación de impacto en protección de datos cuando el tratamiento entrañe alto riesgo.
Una explicación del proveedor sobre cómo funciona el modelo no satisface por sí sola el artículo 22 del GDPR. Tampoco una revisión humana nominal. La intervención debe ser capaz de comprender el resultado, cuestionarlo y modificarlo antes de que produzca efectos. Pulsar “aprobar” en una pantalla no es supervisión humana efectiva si el empleado no tiene tiempo, información o autoridad para apartarse de la recomendación.
Para entidades financieras y aseguradoras sujetas a DORA, el Reglamento (UE) 2022/2554 añade obligaciones sobre gestión del riesgo de las tecnologías de la información y la comunicación, incidentes, pruebas y terceros TIC. El artículo 28 exige gestionar el riesgo de terceros TIC, y el artículo 30 establece elementos contractuales esenciales. Un proveedor de GPAI conectado a procesos críticos no debería evaluarse únicamente como “herramienta de productividad”. Si su indisponibilidad impide tramitar siniestros o atender obligaciones regulatorias, entra en el mapa de dependencias TIC con una criticidad que debe justificarse.
NIS2 puede resultar relevante para entidades y proveedores incluidos en su ámbito nacional de aplicación. El artículo 21 exige medidas de gestión del riesgo de ciberseguridad, incluidas políticas de análisis de riesgos, gestión de incidentes, continuidad, seguridad de la cadena de suministro y uso de criptografía. La protección de un modelo GPAI no se reduce a controlar el acceso a la interfaz: también hay que evaluar claves, repositorios, conectores, datos indexados, cuentas privilegiadas y mecanismos de recuperación frente a manipulación.
El resultado es una matriz de obligaciones cruzadas, no una colección de proyectos aislados. El expediente del proveedor de IA puede alimentar el registro de terceros de DORA, la evaluación de impacto del GDPR y el análisis de cadena de suministro de NIS2. Si cada equipo solicita la misma información en formatos distintos, la empresa pagará tres veces por demostrar una sola realidad operativa.
Las preguntas útiles no son “¿el modelo es seguro?” ni “¿cumple el AI Act?”. Son demasiado amplias para producir una respuesta verificable. El CISO debería pedir evidencias sobre escenarios concretos.
Primero, identidad y cambios: ¿qué versión exacta se utiliza?, ¿cómo se notifica una modificación?, ¿se pueden bloquear actualizaciones?, ¿qué diferencia hay entre el modelo anunciado y el modelo que responde en producción? Segundo, datos: ¿se utilizan prompts para entrenar?, ¿qué regiones intervienen?, ¿cómo se eliminan los datos?, ¿qué subcontratistas tienen acceso?, ¿se puede impedir que un documento confidencial sea enviado a un endpoint no autorizado?
Tercero, seguridad del modelo: ¿se han probado prompt injection, extracción de información, abuso de herramientas y manipulación de documentos?, ¿cómo se protegen los pesos si el modelo es descargable?, ¿qué controles existen frente a cuentas comprometidas y uso automatizado abusivo? Cuarto, continuidad: ¿qué sucede si la API deja de estar disponible?, ¿existe una versión alternativa?, ¿puede la entidad operar manualmente?, ¿cuánto tarda el proveedor en comunicar un incidente?
Quinto, calidad y límites: ¿qué tareas no debe realizar el modelo?, ¿qué idiomas y formatos se han probado?, ¿cómo se mide la degradación tras una actualización?, ¿qué umbral obliga a retirar el caso de uso? Y sexto, responsabilidad: ¿quién responde ante una salida errónea, una filtración, una infracción de derechos de autor o una decisión discriminatoria?
Si el proveedor responde que toda la información es confidencial, la entidad debe distinguir entre secretos empresariales legítimos y datos imprescindibles para cumplir sus obligaciones. El AI Act protege información sensible, pero no convierte la opacidad comercial en una exención universal de diligencia.
Este año, el mercado europeo ya no puede tratar las obligaciones de GPAI como una futura cuestión de producto. Los proveedores que comercializan modelos nuevos deben operar con el artículo 53 en el centro de su documentación, y los compradores están empezando a exigir evidencias compatibles con auditorías, contratación tecnológica y supervisión sectorial.
La Oficina Europea de IA y la Comisión han impulsado códigos de práctica y orientaciones para facilitar el cumplimiento de las obligaciones de GPAI. Su utilidad es práctica, pero no convierte el código en un salvoconducto. Un proveedor puede apoyarse en un código y seguir necesitando demostrar que sus controles funcionan para su modelo concreto. Del lado del comprador, la adhesión declarada a una guía no sustituye al análisis del caso de uso.
El calendario también obliga a mirar más allá del lanzamiento inicial. Los modelos puestos en el mercado antes del 2 de agosto de 2025 disponen, para determinadas obligaciones, de adaptación hasta el 2 de agosto de 2027. Esa fecha no significa que las empresas usuarias puedan ignorar el riesgo hasta entonces. Un contrato firmado en 2026, una migración de modelo o una nueva finalidad pueden activar revisiones antes de que concluya ese periodo.
La dirección debería medir algo más útil que el número de empleados que han recibido una formación sobre IA. Tres indicadores ofrecen una imagen más honesta: porcentaje de casos de uso con propietario y clasificación aprobada; porcentaje de proveedores GPAI con documentación y controles de cambio verificados; y número de salidas de alto impacto revisadas manualmente antes de producir efectos sobre una persona. Si esos datos no existen, la organización probablemente tampoco conoce su exposición real.
El AI Act obliga a mirar el modelo, pero el riesgo empresarial suele aparecer en las conexiones: el modelo enlazado con el CRM, el repositorio de expedientes, el correo del empleado, el motor de precios y el sistema que envía una respuesta al cliente. Un modelo razonablemente seguro puede formar parte de un sistema inseguro si tiene permisos excesivos, registros incompletos o una ruta directa hacia una decisión regulada.
SegurNova aprueba el resumen de siniestros con restricciones, mantiene la redacción de comunicaciones bajo revisión humana y descarta, por ahora, la tarificación mediante un GPAI generalista. No es una victoria tecnológica. Es una decisión de alcance. La entidad define qué quiere automatizar, qué no está dispuesta a delegar y qué pruebas deben superarse antes de cambiar de posición.
Ese es el criterio que deberían aplicar CISO y compliance: no preguntar si el modelo “cumple” en abstracto, sino si la combinación de modelo, datos, permisos, finalidad y supervisión puede producir un resultado defendible. El AI Act no elimina la incertidumbre técnica. Sí elimina una excusa muy utilizada hasta ahora: que nadie sabía quién debía documentarla.
Nota editorial
Resumen semanal gratis
Suscríbete al resumen semanal y te avisamos de cada cambio en AI Act: clasificación de riesgo de tus sistemas de IA y obligaciones por nivel.
¿Necesitas priorizar acciones ya? Empieza un GAP Assessment AI Act.
Aporta contexto, plantea una duda o responde a la conversación. Los comentarios son públicos y moderables.
Cargando comentarios…