Imagen generada por IALa pregunta que más problemas dará a las empresas europeas no es si utilizan inteligencia artificial. Es otra, bastante menos cómoda: ¿pueden demostrar por qué su sistema no es de alto riesgo?
La respuesta no se resuelve con una diapositiva titulada “AI risk assessment”, una declaración del proveedor o la tranquilizadora frase “la decisión final la toma una persona”. El Reglamento (UE) 2024/1689, conocido como AI Act, exige clasificar determinados sistemas por su función, su contexto de uso y el impacto que pueden tener sobre la salud, la seguridad o los derechos fundamentales. Cuando el sistema entra en la categoría de alto riesgo, la carga documental cambia por completo.
Para un CISO o un responsable de cumplimiento, el problema no termina al marcar una casilla del inventario. Empieza ahí. El supervisor querrá reconstruir la cadena de decisión: qué hace exactamente el modelo, con qué datos se entrenó o configuró, quién lo utiliza, qué controles limitan sus resultados, qué métricas se revisan y qué ocurre cuando falla. El AI Act no convierte cada auditoría en una investigación forense, pero sí hace difícil esconderse detrás de la palabra “algoritmo”.
Este análisis propone un método operativo para clasificar sistemas, preparar la evaluación de conformidad y reunir evidencias defendibles. La referencia jurídica central es el artículo 6 del AI Act y sus anexos, pero la respuesta práctica se encuentra también en los artículos 9 a 15, 27, 43, 49, 72 y 73.
El artículo 6 del AI Act utiliza dos puertas de entrada para identificar los sistemas de alto riesgo. La primera se refiere a los sistemas de IA que son productos, o componentes de seguridad de productos, cubiertos por la legislación sectorial enumerada en el anexo I. La segunda afecta a los sistemas autónomos incluidos en una de las áreas del anexo III.
La distinción es decisiva. Un sistema de IA usado para controlar una función de seguridad de una máquina puede estar sujeto al régimen de alto riesgo por su integración en el producto. En cambio, un modelo que analiza currículos, evalúa solvencia o prioriza solicitudes puede caer en el anexo III por el uso que la organización hace de él, aunque el proveedor lo venda con un nombre comercial mucho más inocente.
El nombre del producto tampoco ayuda demasiado. “Asistente inteligente”, “motor de recomendaciones” y “herramienta de scoring” describen marketing o arquitectura, no la categoría jurídica. Para clasificarlo hay que responder a cuatro preguntas:
El anexo III incluye, entre otras áreas, identificación y categorización biométrica, gestión y explotación de infraestructuras críticas, educación, empleo, acceso al trabajo por cuenta propia, acceso a servicios esenciales públicos y privados, aplicación de la ley, migración, asilo y control fronterizo, administración de justicia y procesos democráticos. La clasificación se hace por caso de uso, no por la etiqueta tecnológica del modelo.
El artículo 6(3) permite que determinados sistemas del anexo III no se consideren de alto riesgo cuando realizan una tarea de procedimiento limitada, mejoran el resultado de una actividad humana previamente completada, detectan patrones sin sustituir la evaluación humana o realizan una tarea preparatoria. El propio artículo establece límites: el sistema no debe generar un riesgo significativo de daño para la salud, la seguridad o los derechos fundamentales.
Esta excepción será uno de los puntos favoritos de cualquier auditoría porque parece sencilla y no lo es. Una entidad puede sostener que su modelo solo prioriza expedientes, por ejemplo. Pero si esa priorización determina qué solicitudes revisa primero un analista, qué clientes reciben una oferta o qué candidatos quedan fuera del proceso en la práctica, la función deja de ser meramente administrativa.
El artículo 6(3) exige un análisis documentado. No basta con escribir “human in the loop”. La organización debería demostrar, como mínimo:
Si un analista acepta el 99% de las recomendaciones porque la herramienta está integrada en el flujo y el volumen de expedientes hace inviable revisarlas, la existencia nominal de una firma humana no elimina necesariamente el riesgo. El supervisor no necesita demostrar que la empresa actuó de mala fe; le bastará con preguntar si el control podía funcionar en las condiciones reales de operación.
El AI Act distribuye las obligaciones entre proveedores y responsables del despliegue. El proveedor de un sistema de alto riesgo debe cumplir, entre otros, los requisitos de los artículos 9 a 15 y preparar la documentación técnica del artículo 11 y el anexo IV. El deployer, por su parte, tiene obligaciones propias en el artículo 26. Mezclar ambas responsabilidades es una de las formas más rápidas de crear un expediente incompleto.
El artículo 11 y el anexo IV exigen una documentación técnica que permita demostrar la conformidad del sistema. En términos operativos, el expediente debería conectar la descripción del producto con pruebas reproducibles. Un documento de 200 páginas que no identifica la versión del modelo ni los datos usados para evaluarlo impresiona menos de lo que parece.
La primera evidencia debe explicar qué hace el sistema, qué no hace y en qué condiciones puede utilizarse. Incluye la arquitectura general, el tipo de modelo, sus entradas y salidas, las fuentes de datos, las integraciones, las dependencias externas y las versiones desplegadas.
Un sistema de detección de fraude, por ejemplo, no debería describirse únicamente como “modelo que calcula riesgo”. El expediente debería indicar si genera una puntuación, bloquea automáticamente una operación, activa una revisión, modifica límites o alimenta otro modelo. Cada una de esas funciones puede cambiar la evaluación de impacto.
La documentación también debe identificar usos prohibidos o no validados. Si el proveedor solo ha probado el modelo con operaciones de pago minoristas y la entidad lo utiliza para transferencias corporativas, hay una divergencia de uso que debe tratarse como un riesgo de cambio, no como una nota al pie.
El artículo 9 obliga a establecer, implementar, documentar y mantener un sistema de gestión de riesgos durante todo el ciclo de vida. Debe identificar y analizar los riesgos conocidos y razonablemente previsibles para la salud, la seguridad y los derechos fundamentales, adoptar medidas de mitigación y someterlas a pruebas.
Un registro de riesgos útil no se limita a “sesgo”, “alucinación” o “ciberataque”. Esas palabras describen familias de problemas. El supervisor necesitará saber qué puede ocurrir en este sistema concreto. Por ejemplo:
Cada riesgo debería tener propietario, nivel de severidad, probabilidad, criterio de aceptación, control mitigador y evidencia de prueba. La gestión de riesgos no es una foto tomada antes del lanzamiento. El artículo 9 la concibe como un proceso continuo que debe actualizarse cuando cambian el sistema, los datos, el entorno o el uso.
El artículo 10 exige prácticas de gobernanza y gestión de datos para los conjuntos usados en entrenamiento, validación y prueba. El requisito alcanza la procedencia, la relevancia, la representatividad, la idoneidad y la detección de errores, además de las características de los datos en función del propósito del sistema.
“Los datos están limpios” no es una evidencia. Un expediente sólido conserva el inventario de datasets, las fechas de extracción, los cambios aplicados, las reglas de exclusión, las variables eliminadas y los criterios de etiquetado. También debe mostrar cómo se identificaron valores ausentes, duplicados, outliers y cambios de distribución.
Para sistemas que pueden afectar a personas, la representatividad no se demuestra con un porcentaje global de exactitud. Hay que segmentar resultados. Una precisión del 95% puede esconder un rendimiento sensiblemente peor para un grupo concreto o en una región donde el volumen histórico es pequeño.
La gobernanza de datos del AI Act se cruza con el Reglamento General de Protección de Datos. El artículo 5 del RGPD limita el tratamiento a datos adecuados, pertinentes y no excesivos; el artículo 22 regula determinadas decisiones basadas únicamente en tratamientos automatizados; y los artículos 13 a 15 exigen información sobre el tratamiento, incluida la lógica aplicada cuando proceda. Cumplir el AI Act no sustituye una base jurídica, una evaluación de impacto de protección de datos del artículo 35 del RGPD ni el análisis de minimización.
El artículo 15 exige niveles adecuados de precisión, solidez y ciberseguridad durante todo el ciclo de vida. Esas tres palabras deben traducirse en métricas, umbrales y procedimientos de respuesta.
La precisión depende del caso de uso. En un clasificador pueden ser relevantes precision, recall, F1, tasa de falsos positivos y falsos negativos, curva ROC o calibración. En un modelo generativo pueden necesitarse evaluaciones de factualidad, tasa de rechazo correcto, fuga de información, toxicidad o resistencia a instrucciones adversariales. No existe una métrica universal que convierta un modelo en conforme.
Lo que sí debe existir es una justificación de por qué se han escogido determinadas métricas y qué umbral activa una acción. Por ejemplo, una entidad puede establecer que un aumento de cinco puntos porcentuales en falsos positivos frente a la línea base obliga a revisar el modelo. Esa regla no aparece como cifra universal en el AI Act; es el tipo de decisión interna que demuestra que la organización ha convertido el requisito jurídico en control operativo.
Las pruebas deben realizarse por segmentos relevantes y bajo condiciones próximas al uso real. Un modelo puede rendir bien en datos de prueba aleatorios y degradarse cuando cambian los tipos de clientes, los documentos, el idioma o la frecuencia de las operaciones. El expediente debe conservar la línea base, el conjunto de prueba, la fecha, la versión del código o modelo y el resultado.
El artículo 15 menciona expresamente la resiliencia frente a errores, fallos, inconsistencias y ataques que intenten manipular el uso, el comportamiento o el rendimiento del sistema. Para un CISO, esto significa que la evaluación de alto riesgo no puede quedar encerrada en el equipo de datos.
Las pruebas deberían cubrir, según la arquitectura y el caso de uso, ataques de evasión, envenenamiento de datos, extracción del modelo, inversión de modelos, abuso de APIs, prompt injection en sistemas generativos y manipulación de entradas. En un modelo de visión, una alteración mínima de la imagen puede cambiar la clasificación. En un sistema que consume documentos, una instrucción maliciosa incrustada en un archivo puede alterar el comportamiento del agente que lo procesa.
El expediente debería vincular cada amenaza con un control verificable: validación de entradas, límites de tasa, separación de privilegios, firma de artefactos, control de versiones, aislamiento de entornos, monitorización de cambios, revisión de dependencias y procedimiento de rollback. Cuando sea aplicable, las pruebas de penetración y los resultados de escaneos deben identificar alcance, fecha, entorno, vulnerabilidades encontradas y correcciones.
La relación con DORA es especialmente relevante para entidades financieras. DORA se aplica desde el 17 de enero de 2025 y su artículo 9 exige un marco de gestión del riesgo de las TIC; los artículos 28 a 30 regulan la gestión del riesgo de terceros TIC. Un sistema de IA de alto riesgo suministrado por un proveedor tecnológico puede exigir simultáneamente evidencias del AI Act, controles de resiliencia de DORA, gestión contractual del tercero y, cuando proceda, una evaluación del RGPD. La misma dependencia técnica puede tener tres propietarios regulatorios distintos. La tecnología no entiende de organigramas; la auditoría sí.
El artículo 14 exige diseñar sistemas de alto riesgo de forma que puedan ser supervisados eficazmente por personas durante su uso. La supervisión debe permitir comprender las capacidades y limitaciones del sistema, interpretar correctamente sus salidas, evitar una confianza excesiva en ellas y decidir cuándo ignorarlas, revertirlas o detener el sistema.
La evidencia no es una política genérica de uso responsable. Debe mostrar quién supervisa, con qué formación, qué información recibe, qué alertas existen, cuánto tiempo tiene para intervenir y qué ocurre si la salida es dudosa. El artículo 14 también contempla medidas como la posibilidad de que el sistema sea detenido mediante un mecanismo de parada o interrupción.
En una entidad financiera, el control puede incluir revisión reforzada para resultados cercanos a un umbral, muestreo independiente de decisiones aprobadas, obligación de documentar anulaciones y análisis de la tasa de override por operador. Una tasa de anulación del 30% puede señalar un umbral mal calibrado; una tasa del 0% puede indicar que nadie cuestiona el sistema. Ninguna de las dos cifras es automáticamente buena o mala. Ambas merecen una explicación.
La formación también importa. Una persona que conoce el procedimiento interno pero no entiende la diferencia entre una probabilidad calibrada y una puntuación relativa no está preparada para interpretar una salida. El registro de formación debería identificar perfiles autorizados, contenidos, fechas y refrescos exigidos antes de asumir funciones de supervisión.
El artículo 43 establece los procedimientos de evaluación de conformidad. Para determinados sistemas del anexo III, el proveedor puede utilizar un control interno basado en el anexo VI cuando el sistema no se destina a biometría en los supuestos que requieren intervención de un organismo notificado. En otros casos, el anexo VII exige evaluación basada en un sistema de gestión de la calidad y examen de la documentación por un organismo notificado.
La elección del procedimiento no es una formalidad administrativa. Determina quién revisa el expediente, qué controles deben mantenerse y qué cambios pueden exigir una nueva evaluación. Los sistemas de identificación biométrica remota, por ejemplo, están sujetos a un régimen especialmente sensible. El equipo jurídico no debería decidir la ruta de conformidad sin involucrar a ingeniería, seguridad, producto y al responsable del caso de uso.
Antes de colocar el marcado CE, el proveedor debe preparar la declaración UE de conformidad conforme al artículo 47 y al anexo V, conservar la documentación y cumplir las obligaciones de registro aplicables. El artículo 49 regula el registro de determinados sistemas de alto riesgo en la base de datos de la UE. Un auditor debería poder pasar del número de registro a la versión exacta del sistema, el fabricante, el propósito previsto y la documentación relacionada sin encontrar contradicciones.
La evaluación no libera a la organización de mantener el control después del despliegue. Los cambios sustanciales, las nuevas finalidades, la sustitución de datos, la modificación de umbrales o una integración con un proceso distinto pueden alterar la conformidad. El sistema de gestión de cambios debe indicar cuándo se repite una prueba, cuándo se revisa la evaluación de riesgos y cuándo procede una nueva evaluación de conformidad.
El artículo 26 impone obligaciones a quienes utilizan un sistema de alto riesgo bajo su autoridad. Entre ellas figuran usarlo conforme a las instrucciones, asignar supervisión humana competente, monitorizar su funcionamiento, conservar los registros bajo su control durante un periodo adecuado y asegurar que los datos de entrada sean pertinentes y suficientemente representativos para la finalidad prevista.
Esto crea una frontera práctica que muchas empresas no han dibujado en sus contratos. El proveedor puede entregar un modelo conforme a sus especificaciones, pero la entidad puede desplegarlo con datos distintos, en otra población, con un umbral diferente o conectado a una decisión más grave. La conformidad del producto no convierte automáticamente en conforme el uso.
El responsable de despliegue debería mantener un expediente propio con la finalidad autorizada, el proceso afectado, los responsables, las instrucciones recibidas, la configuración local, los datasets de entrada, las métricas de producción, los incidentes y las decisiones de retirada o suspensión. Para sistemas que afectan a empleados, clientes o ciudadanos, conviene documentar también la información proporcionada a las personas y los canales de reclamación o revisión.
El artículo 27 introduce además una evaluación de impacto sobre los derechos fundamentales para determinados deployers que sean entidades que prestan servicios públicos o privadas que prestan determinados servicios esenciales, entre otros supuestos previstos por el Reglamento. La evaluación debe identificar grupos afectados, riesgos, medidas de mitigación y mecanismos de supervisión. No debe confundirse con una DPIA del artículo 35 del RGPD: pueden compartir evidencias, pero responden a marcos distintos y analizan riesgos distintos.
El AI Act no publica una lista universal de documentos que cada inspector vaya a solicitar en el mismo orden. Sí permite anticipar el tipo de preguntas que pondrán a prueba la madurez de la organización.
Primero llegará la pregunta de alcance: ¿qué sistemas de IA utiliza la entidad y quién ha decidido su clasificación? Un inventario que solo recoge modelos desarrollados internamente no sirve si quedan fuera herramientas SaaS, módulos de scoring incorporados a plataformas de terceros, asistentes de selección o funcionalidades activadas por defecto.
Después aparecerá la trazabilidad. El supervisor comparará el propósito declarado en el contrato, la documentación técnica, el registro interno, la interfaz y el uso real. Una discrepancia entre “apoyo a la revisión” y “rechazo automático” no se arregla con una nueva redacción en la política.
La tercera línea será la evidencia de rendimiento. Se pedirán resultados antes y después del despliegue, segmentación, umbrales, incidencias, degradación y cambios. Si la empresa solo conserva la métrica agregada que mostró el proveedor, no podrá demostrar cómo funciona el sistema en su población real.
La cuarta será la gobernanza de excepciones: quién aprobó el uso, quién aceptó el riesgo residual, quién autorizó un cambio de modelo y quién decidió no detenerlo cuando falló. La ausencia de un propietario claro suele ser más reveladora que una mala métrica.
Por último, llegarán las pruebas de incidente. El artículo 73 establece obligaciones de notificación de incidentes graves para proveedores de sistemas de alto riesgo. El equipo debe saber cómo identifica un incidente, cómo determina su gravedad, qué información conserva y cómo coordina la comunicación con autoridades. En una entidad financiera, ese procedimiento tendrá que convivir con el régimen de incidentes de DORA y, cuando exista una vulneración de datos personales, con el artículo 33 del RGPD, que fija el plazo de 72 horas para notificar a la autoridad de control cuando proceda.
Para una auditoría, la documentación debe organizarse por afirmaciones comprobables, no por departamentos. Un paquete razonable incluiría:
Esta estructura también ayuda a descubrir una debilidad frecuente: los documentos existen, pero no se refieren a la misma versión. Un modelo puede tener una evaluación de impacto de enero, una prueba de seguridad de marzo y una configuración de producción de septiembre. Si nadie puede demostrar qué versión estaba activa cuando se tomaron las decisiones, la trazabilidad se ha roto aunque cada documento, aislado, parezca correcto.
El Reglamento (UE) 2024/1689 entró en vigor el 1 de agosto de 2024. Las prohibiciones del artículo 5 y las obligaciones de alfabetización en IA del artículo 4 empezaron a aplicarse el 2 de febrero de 2025. Las obligaciones para proveedores de modelos de IA de propósito general comenzaron a aplicarse el 2 de agosto de 2025. El régimen general de los sistemas de alto riesgo del anexo III se aplica desde el 2 de agosto de 2026, mientras que los sistemas de alto riesgo integrados en productos regulados por la legislación del anexo I tienen el calendario previsto del 2 de agosto de 2027.
Estas fechas no convierten el día de aplicación en una fecha de inicio. Un sistema de alto riesgo necesita inventario, clasificación, pruebas, documentación, responsables y controles de producción. Si el expediente comienza cuando llega la primera solicitud del supervisor, la organización no está preparando la conformidad: está reconstruyendo el pasado con datos que quizá ya no existen.
Los equipos también deben seguir la evolución de las guías y de las especificaciones armonizadas que concreten requisitos técnicos. La ausencia de una norma armonizada aplicable no elimina las obligaciones del Reglamento. Puede hacer más difícil demostrar cómo se ha alcanzado el resultado exigido, que es precisamente la razón para conservar una justificación técnica propia.
La clasificación de alto riesgo no debe tratarse como una etiqueta estática, sino como una conclusión revisable sobre una función concreta en un entorno concreto. Esa conclusión debe sobrevivir a tres pruebas: que otra persona pueda reproducir el análisis, que las métricas describan el sistema real y que los controles funcionen cuando hay presión operativa.
El error más caro es intentar demostrar que la IA “no decide”. Muchos sistemas no toman la decisión formal, pero ordenan las opciones, eliminan candidatos, asignan prioridad o fijan el umbral a partir del cual un humano interviene. Para los derechos de la persona afectada, la diferencia entre decidir y hacer prácticamente inevitable una decisión puede ser académica.
El enfoque defendible es más sobrio: identificar la función, mapear el artículo 6 y el anexo aplicable, documentar cualquier exclusión, medir el rendimiento por población y conservar pruebas de que la supervisión humana tiene capacidad real. Después, conectar ese expediente con RGPD, DORA, NIS2 o las obligaciones sectoriales que correspondan.
La pregunta final para un CISO no debería ser “¿tenemos una política de IA?”. Debería ser: si mañana un supervisor selecciona este sistema, ¿podemos demostrar en una hora qué hace, con qué datos, con qué límites, con qué tasa de error y quién puede detenerlo? Si la respuesta depende de localizar a tres proveedores y de abrir una hoja de cálculo olvidada, la clasificación todavía no está terminada.
Nota editorial
Resumen semanal gratis
Suscríbete al resumen semanal y te avisamos de cada cambio en AI Act: clasificación de riesgo de tus sistemas de IA y obligaciones por nivel.
¿Necesitas priorizar acciones ya? Empieza un GAP Assessment AI Act.
Aporta contexto, plantea una duda o responde a la conversación. Los comentarios son públicos y moderables.
Cargando comentarios…