Imagen generada por IAUn modelo de lenguaje puede redactar un informe impecable y, cinco minutos después, revelar un secreto, ejecutar una acción no autorizada o inventar una respuesta con la seguridad de quien acaba de leerla en un manual. Ese contraste resume el problema operativo de la inteligencia artificial generativa: su utilidad crece más deprisa que la capacidad de las organizaciones para gobernar sus decisiones.
El OWASP Top 10 for Large Language Model Applications sirve como mapa de amenazas, pero no como programa de cumplimiento. Una lista de riesgos no protege una API, no revoca un token y no demuestra ante un supervisor que la entidad controla sus agentes. El trabajo difícil empieza después: convertir cada categoría en una frontera técnica, una responsabilidad concreta, una evidencia conservable y una prueba repetible.
Para un CISO europeo, la pregunta no es si su empresa utiliza ChatGPT, un modelo alojado en la nube o un asistente interno. La pregunta es qué puede hacer ese sistema con datos, herramientas y decisiones cuando recibe una instrucción maliciosa, un documento contaminado o una salida incorrecta. Ahí se cruzan OWASP, el artículo 21 de NIS2, los artículos 6, 9, 11 y 28 de DORA, el artículo 32 del RGPD y varios controles del Anexo A de ISO/IEC 27001:2022.
Una aplicación convencional suele validar entradas contra un esquema conocido y producir una salida con un formato previsible. Un LLM trabaja con lenguaje natural, contexto probabilístico y, cada vez más, herramientas externas. La instrucción que parece una consulta puede contener una orden; un documento que parece información puede contener un ataque; y una respuesta correcta en términos lingüísticos puede ser operacionalmente peligrosa.
La arquitectura importa más que el nombre del proveedor. Un modelo aislado que solo genera borradores presenta un riesgo distinto al de un agente conectado al CRM, al sistema de pagos, al correo corporativo y a una base vectorial con expedientes de clientes. En el segundo caso, el LLM no es solo software de productividad: es una nueva capa de decisión y orquestación. Si se le concede capacidad de actuar, el control debe recaer en el sistema que ejecuta la acción, no en la promesa de que el modelo seguirá siempre el system prompt.
Ese matiz desmonta una práctica frecuente: intentar resolver la seguridad escribiendo instrucciones más largas para el modelo. Un prompt puede orientar el comportamiento; no es un control de autorización. No sustituye a un motor de políticas, a una segmentación de red, a una validación de esquema ni a una aprobación humana. Si una orden de transferencia depende de que el modelo recuerde que no debe transferir dinero, la arquitectura ya ha perdido.
La taxonomía de OWASP agrupa los fallos más relevantes de las aplicaciones LLM. La forma útil de emplearla consiste en seguir la cadena completa: entrada, recuperación de contexto, inferencia, salida, llamada a herramientas y registro. Un control colocado en un único punto deja el resto de la cadena expuesto.
La inyección de instrucciones puede ser directa —el usuario pide al modelo que ignore sus restricciones— o indirecta, cuando el ataque está escondido en una página web, un PDF, un correo o un registro recuperado por el sistema. En una aplicación RAG, por ejemplo, un documento indexado puede incluir una frase que ordene al agente extraer secretos o enviar información a una dirección externa. El texto llega como datos, pero el modelo puede interpretarlo como instrucciones.
El control principal es separar datos e instrucciones en la arquitectura, aunque ningún formato de delimitación ofrece seguridad absoluta frente a un modelo probabilístico. El contenido recuperado debe etiquetarse como no confiable, pasar por filtros de contenido y someterse a validaciones antes de entrar en el contexto. Las herramientas deben recibir parámetros estructurados, con listas permitidas y comprobaciones independientes del modelo.
El agente tampoco debe poder convertir una respuesta en una acción irreversible sin una segunda decisión. Para borrar un registro, cambiar un beneficiario, publicar un documento o abrir una incidencia crítica, el servicio de ejecución debe exigir una política explícita, identidad del solicitante, alcance autorizado y, cuando corresponda, aprobación humana. El registro debe conservar el prompt, el contexto recuperado, la versión del modelo, la herramienta invocada, los parámetros ya saneados y el resultado de la política. Sin esa secuencia, investigar un incidente será una discusión de opiniones.
Este riesgo se conecta con NIS2, artículo 21.2, que exige medidas técnicas, operativas y organizativas para gestionar los riesgos que afectan a la seguridad de las redes y sistemas de información, incluidas la gestión de incidentes, la seguridad de la cadena de suministro y la seguridad en la adquisición y desarrollo. Para una entidad financiera, DORA artículo 9 exige protección y prevención, mientras que el artículo 11 exige respuesta y recuperación. La prueba no es que exista una política de prompt injection, sino que una simulación pueda demostrar que la orden maliciosa fue detectada, bloqueada y registrada.
La fuga de información no se limita a que el modelo memorice datos durante su entrenamiento. Puede producirse por un prompt con datos personales, por un contexto RAG sobredimensionado, por logs que almacenan conversaciones completas, por una respuesta que mezcla expedientes de usuarios o por el uso de una API cuyo tratamiento de datos no está correctamente delimitado.
El control debe empezar antes del modelo. Clasifica los datos en la entrada, elimina o tokeniza identificadores cuando la tarea no los necesita y aplica controles de pérdida de datos en las salidas. La autorización de la recuperación debe operar con la identidad del usuario final, no con una cuenta técnica común. Si un empleado puede consultar un cliente, el agente no debería ampliar ese permiso solo porque tiene acceso a una colección vectorial más grande.
Hay que revisar también la telemetría. Guardar indefinidamente prompts y respuestas puede convertir el sistema de observabilidad en el mayor repositorio de información sensible de la organización. Los registros necesitan minimización, retención definida, cifrado, control de acceso y, cuando sea posible, sustitución de valores por identificadores irreversibles. El RGPD, artículos 5.1.c y 5.1.f, obliga a limitar los datos a lo necesario y a preservar confidencialidad e integridad; el artículo 25 exige protección de datos desde el diseño; el artículo 32 pide medidas adecuadas al riesgo.
El equipo de privacidad debe conocer el flujo real: qué proveedor procesa qué contenido, en qué región, durante cuánto tiempo, con qué finalidad y si utiliza los datos para mejorar el servicio. El artículo 33 del RGPD fija el plazo general de 72 horas para notificar una violación de datos personales a la autoridad de control cuando proceda. Si la entidad descubre la fuga después de tres semanas porque nadie podía reconstruir el contexto enviado al proveedor, el problema no era solo el modelo.
Una aplicación LLM hereda riesgos de más sitios que su proveedor de modelo. Hay que incluir modelos base, adaptadores, librerías, contenedores, conjuntos de datos, paquetes de recuperación, proveedores de embeddings, conectores y servicios de moderación. Un modelo descargado de un repositorio, una dependencia sin mantenimiento o una base vectorial construida con fuentes no verificadas puede introducir una puerta trasera o sesgar las respuestas.
La respuesta operativa es un inventario de componentes de IA, no una hoja de cálculo con el nombre del chatbot. El inventario debe enlazar cada modelo y dependencia con su versión, origen, licencia, finalidad, propietario, datos utilizados, ubicación, privilegios y resultado de las pruebas. Para los modelos y paquetes críticos conviene conservar un hash, una lista de materiales de software y el proceso de aprobación del cambio. ISO/IEC 27001:2022 Anexo A 5.19 a 5.22 cubre relaciones con proveedores y su seguimiento; A.5.23 aborda la seguridad en el uso de servicios en la nube; A.8.8 exige gestionar vulnerabilidades técnicas.
El envenenamiento de datos requiere controles de procedencia. Cada documento incorporado a un índice debe tener fuente, fecha de adquisición, clasificación, responsable y resultado de una validación. En un sistema que asesora sobre crédito o fraude, una fuente contaminada no solo genera una respuesta incorrecta: puede alterar decisiones repetidas a escala. La revisión de muestras, la comparación con fuentes de confianza y la detección de cambios anómalos son más útiles que una declaración genérica de que el proveedor es reputado.
DORA artículo 28 obliga a gestionar el riesgo de terceros proveedores de servicios TIC y a mantener un registro de información sobre los acuerdos contractuales. Un contrato de IA que solo promete disponibilidad no cubre la dependencia operacional. Hay que preguntar por subcontratación, localización, notificación de incidentes, soporte durante pruebas, portabilidad de datos, eliminación, auditoría y salida ordenada. La etiqueta de modelo fundacional no convierte al proveedor en una excepción contractual.
Una salida del modelo es contenido no confiable aunque parezca razonable. El fallo aparece cuando la aplicación la inserta directamente en HTML, ejecuta una consulta SQL, construye una orden de shell, genera código que pasa a producción o rellena un campo sensible sin validación. En ese punto, el modelo deja de ser el problema central: lo es el sistema que acepta su texto como una instrucción.
Aplica validación positiva y tipos estrictos. Si la aplicación espera una fecha, recibe una fecha; si espera un identificador de cliente, comprueba formato, existencia y autorización. Las salidas HTML deben codificarse para evitar XSS; las consultas deben utilizar parámetros; el código generado debe pasar por revisión, análisis estático, pruebas y controles de despliegue. Un JSON válido no es necesariamente una operación autorizada.
El control de salida debe tener un propietario en el equipo de ingeniería, no solo en el responsable de IA. ISO/IEC 27001:2022 A.8.25 sobre ciclo de vida de desarrollo seguro, A.8.29 sobre pruebas de seguridad en desarrollo y aceptación y A.8.32 sobre gestión de cambios ofrecen una base auditable. La evidencia debe incluir casos de prueba adversariales, resultados antes y después de cada cambio y la decisión de quién aprobó el paso a producción.
Este es el punto en el que un asistente se convierte en un incidente esperando fecha. La agencia excesiva aparece cuando el sistema dispone de demasiadas herramientas, demasiados permisos o demasiada autonomía. Un agente que puede leer todo el correo, modificar contratos y enviar mensajes externos tiene una superficie de ataque muy superior a la de un modelo que solo propone texto.
El principio de mínimo privilegio debe aplicarse a cada herramienta y a cada llamada, no solo a la cuenta de servicio. Define acciones permitidas, límites cuantitativos, destinos autorizados, ventanas temporales y condiciones de aprobación. Separa lectura de escritura. Exige confirmación para operaciones irreversibles y limita el número de llamadas encadenadas. Un agente no debería poder crear nuevas credenciales, modificar sus propias políticas ni concederse acceso a otra herramienta.
La política de autorización debe ejecutarse fuera del modelo y evaluar al menos identidad, finalidad, recurso, acción y contexto. Para una aplicación financiera, eso puede significar que el agente prepare una orden, pero el sistema de pagos aplique segregación de funciones y aprobación independiente. DORA artículo 9 y artículo 13, sobre protección y prevención y sobre aprendizaje y evolución, respaldan una gobernanza basada en controles verificables; el artículo 12 exige políticas de copias de seguridad y procedimientos de recuperación cuando la automatización afecte a servicios TIC.
El system prompt no debe contener secretos. Si incluye claves, reglas de autorización, información sobre arquitectura o datos personales, debe tratarse como material expuesto. Puede filtrarse por una instrucción directa, por una respuesta que revele contexto o por un mensaje de error. Ocultarlo no es protegerlo.
Las reglas sensibles deben vivir en código y en un motor de políticas. El prompt puede definir estilo, alcance conversacional y límites de alto nivel, pero nunca debe ser el único lugar donde se decide si alguien puede consultar un expediente o ejecutar una transferencia. Comprueba periódicamente si el modelo revela instrucciones internas y revisa los cambios del prompt como cambios de código.
Las bases vectoriales presentan un problema distinto: la similitud semántica no equivale a autorización. Un documento puede recuperar fragmentos de otro departamento, de otro cliente o de otra jurisdicción si los metadatos no filtran antes de la búsqueda. La partición por tenant, los filtros obligatorios de control de acceso, el cifrado, la eliminación verificable y las pruebas de recuperación cruzada son controles esenciales. También conviene medir la contaminación: documentos duplicados, fuentes contradictorias, embeddings generados con versiones diferentes y registros sin propietario.
Las alucinaciones son un riesgo de seguridad cuando la respuesta activa una decisión. La mitigación no consiste en pedir al modelo que sea más sincero. Consiste en limitar los usos que toleran incertidumbre, obligar a citar fuentes, mostrar la fecha del contenido recuperado y derivar a revisión humana cuando no existe evidencia suficiente.
Un sistema que responde sobre normativa debe identificar el artículo, la versión y la jurisdicción de la fuente. Uno que apoya operaciones antifraude debe mostrar las señales utilizadas y conservar la decisión final del analista. Las métricas útiles incluyen tasa de respuestas sin fuente, tasa de derivación, falsos negativos, falsos positivos y diferencias entre conjuntos de prueba. La evaluación debe separar exactitud lingüística de exactitud operacional: una respuesta bien redactada puede ser completamente falsa.
El consumo no acotado incluye costes, agotamiento de recursos y denegación de servicio mediante prompts enormes, bucles de herramientas o solicitudes concurrentes. Establece límites por usuario y aplicación, presupuesto de tokens, tiempo máximo de ejecución, número de llamadas, tamaño de documentos y circuitos de desconexión. Monitoriza latencia, tokens, errores, reintentos y coste por flujo. DORA artículo 11 exige capacidades de respuesta y recuperación; una aplicación que se bloquea al superar el presupuesto del proveedor no tiene resiliencia, tiene una factura pendiente.
El modelo de control debe asumir que la variabilidad forma parte del producto. Cambiar el modelo, el prompt, el conjunto de datos, el embedding o la política de herramientas puede alterar el resultado sin modificar una línea de la aplicación. Por eso el proceso de cambio debe cubrir componentes probabilísticos, no solo código compilado.
Antes de desplegar una versión, la entidad debería conservar un conjunto de pruebas representativo de sus riesgos: inyección directa e indirecta, extracción de datos, acceso entre clientes, llamadas no autorizadas, respuestas sin fuente, abuso de recursos y contenido contaminado. Cada prueba necesita un resultado esperado y un umbral de aceptación. Si el proveedor cambia el modelo sin aviso suficiente, la organización debe poder congelar la versión, desactivar funciones de alto riesgo o redirigir el tráfico.
El artículo 6 de DORA exige un marco de gestión del riesgo TIC sólido y documentado; el artículo 24 establece requisitos generales para las pruebas de resiliencia operativa digital, con pruebas proporcionales al tamaño, perfil de riesgo y complejidad de la entidad. Para determinados tipos de entidades financieras, el régimen de pruebas avanzadas puede incluir pruebas de penetración basadas en amenazas. No toda evaluación de un chatbot será una prueba TLPT, pero una entidad no puede llamar resiliencia a una demostración superficial en la que el agente solo responde preguntas inocuas.
NIS2 artículo 21.2 también menciona políticas sobre análisis de riesgos y seguridad de los sistemas de información, gestión de incidentes, continuidad, uso de criptografía, control de acceso y autenticación multifactor cuando proceda. La directiva no prescribe un control específico para prompts, pero sí obliga a gestionar el riesgo real. Si el LLM está conectado a sistemas críticos, esconderlo bajo la etiqueta de experimento no cambia su impacto.
La auditoría no necesita miles de pantallas; necesita una cadena de evidencias coherente. Para cada solicitud relevante deberían poder reconstruirse, con la retención y minimización adecuadas, el usuario o servicio que la inició, la aplicación, la política aplicada, el modelo y versión, las fuentes recuperadas, las herramientas llamadas, los parámetros validados, la decisión de aprobación y el resultado.
Los logs deben protegerse contra manipulación, sincronizarse temporalmente y limitar el acceso. ISO/IEC 27001:2022 Anexo A 8.15 aborda el registro de eventos y A.8.16 la supervisión de actividades. En una arquitectura con agentes, conviene añadir identificadores de correlación para seguir una cadena de llamadas y distinguir una acción solicitada por el usuario de otra generada por el propio sistema. Sin correlación, una sucesión de llamadas legítimas puede ocultar una escalada de privilegios.
La telemetría debe alimentar detecciones, no convertirse en un cementerio de datos. Algunas señales prácticas son: aumento súbito de solicitudes de revelación del prompt; recuperación de documentos fuera del patrón habitual; llamadas repetidas a una herramienta denegada; crecimiento anómalo de tokens; acceso cruzado entre tenants; cambios no aprobados en el índice; respuestas con datos personales no presentes en la consulta; y un incremento de derivaciones por incertidumbre.
La retención debe equilibrar investigación y privacidad. Los prompts completos pueden contener credenciales, información médica, datos financieros o secretos comerciales. Aplica enmascarado, tokenización y acceso justificado. La evidencia de que se ha protegido un dato no exige guardar el dato en claro para siempre. De hecho, hacerlo puede crear una segunda infracción que el primer control pretendía evitar.
En una revisión de cumplimiento, la evidencia más convincente conecta riesgo, control, prueba y responsable. Esta es una selección práctica para un sistema LLM conectado a operaciones:
La última evidencia suele ser la más incómoda: un procedimiento de desconexión probado. Si nadie sabe quién puede desactivar el agente, qué operaciones deben revertirse y cómo se mantiene el servicio manual, el control de continuidad existe solo en el papel.
El CISO no necesita convertirse en ingeniero de prompts. Sí necesita impedir que la organización compre autonomía sin comprar controles. La revisión inicial debe clasificar los casos de uso por capacidad de actuar, sensibilidad de los datos, impacto de una respuesta errónea, dependencia de terceros y posibilidad de reversión.
La clasificación cambia las exigencias. Un asistente que resume documentos públicos puede operar con controles de menor intensidad. Un agente que consulta expedientes laborales, recomienda una decisión crediticia o modifica una orden de pago necesita autorización contextual, pruebas de abuso, supervisión humana y un plan de continuidad. La misma tecnología puede ser aceptable en un escenario y desproporcionadamente arriesgada en otro.
Compliance, privacidad, compras, arquitectura, ingeniería y operaciones deben compartir el registro de decisiones. Si cada equipo conserva una versión distinta del flujo de datos, la entidad no tiene gobernanza: tiene varias narrativas incompatibles. El comité de riesgos debería recibir métricas que permitan decidir, no solo el número de usuarios. Tasa de acciones bloqueadas, incidentes por herramienta, cambios de modelo, datos expuestos, falsos positivos, coste por transacción y tiempo de recuperación dicen mucho más que la adopción mensual.
También conviene resistir la tentación de certificar el modelo como si fuera el producto completo. Un modelo puede superar una batería de evaluaciones y fallar cuando se conecta a una base documental mal segregada. La unidad de análisis es la aplicación LLM en producción, con sus datos, permisos, proveedores, interfaces y usuarios. OWASP identifica los riesgos; la entidad responde por la arquitectura que los hace posibles.
El Top 10 de OWASP no pide que las organizaciones abandonen los LLM. Pide que dejen de confundir conversación convincente con control fiable. La inyección de prompts, la fuga de información, la agencia excesiva y el envenenamiento de datos no son rarezas de laboratorio cuando el sistema tiene acceso a correo, expedientes, código o dinero.
La respuesta defendible combina cuatro decisiones: limitar qué puede hacer el modelo, validar fuera del modelo todo lo que tenga consecuencias, registrar la cadena de decisión y probarla con ataques plausibles. DORA aporta la disciplina de resiliencia y terceros TIC; NIS2, las medidas de gestión del riesgo y la responsabilidad; el RGPD, minimización, privacidad desde el diseño y respuesta a brechas; ISO/IEC 27001, un lenguaje de controles y evidencias.
La pregunta que debería cerrar cualquier aprobación no es «¿qué bien responde?». Es «¿qué ocurre cuando responde mal, quién lo detecta, qué puede hacer por sí mismo y cuánto tardamos en volver a una operación segura?». Si la respuesta depende del buen comportamiento del modelo, todavía no hay un control. Hay esperanza, con interfaz de usuario.
Nota editorial
Resumen semanal gratis
Suscríbete al resumen semanal de regulación, vulnerabilidades explotadas y acciones para tu equipo.
¿Quieres un plan a medida? Modela tu organización con Agentic Digital Twin.
Aporta contexto, plantea una duda o responde a la conversación. Los comentarios son públicos y moderables.
Cargando comentarios…