Imagen generada por IAUn agente de IA puede resumir un correo sin demasiado drama. El riesgo aparece cuando, además, puede abrir adjuntos, consultar el CRM, modificar una ficha de cliente y enviar una respuesta en su nombre. La diferencia entre un asistente útil y un incidente de seguridad no está necesariamente en el modelo: está en la identidad, los permisos y los límites que la empresa le ha dado.
Por eso, integrar agentes no consiste en añadir un chatbot a la arquitectura existente. Consiste en incorporar una nueva clase de actor digital: software que interpreta instrucciones, decide qué herramienta utilizar y encadena acciones con un grado variable de autonomía. Puede ser rápido y eficaz. También puede obedecer una instrucción maliciosa escondida en un documento, confundir una solicitud con una autorización o ejecutar una operación que nadie había previsto.
La respuesta no es prohibirlos ni confiar en que el proveedor haya resuelto el problema. Es diseñar cada agente para que, incluso cuando se equivoque o sea manipulado, no pueda causar un daño desproporcionado. En 2026, ese enfoque tiene además una dimensión regulatoria concreta: el Reglamento europeo de IA ya es aplicable en gran parte desde el 2 de agosto, mientras que el RGPD y, para las entidades financieras, DORA siguen exigiendo controles sobre los datos, los accesos y los proveedores.
En una aplicación convencional, el usuario pulsa un botón y el sistema ejecuta una función prevista. En un sistema agéntico, el modelo puede recibir un objetivo, decidir qué pasos seguir, invocar herramientas y utilizar el resultado para tomar nuevas decisiones. La arquitectura suele incluir el modelo, una capa de orquestación, conectores a sistemas corporativos, fuentes de datos, memoria y mecanismos de registro. Cada pieza abre una superficie de riesgo distinta.
El modelo puede interpretar mal una petición. El conector puede tener permisos excesivos. Una base de conocimiento puede contener contenido manipulado. La capa de orquestación puede permitir llamadas a herramientas no previstas. Y el registro puede guardar datos personales o secretos que no deberían conservarse. Tratar todo ese conjunto como una única caja llamada IA dificulta saber dónde está el fallo y quién debe corregirlo.
La primera decisión de seguridad, por tanto, no es qué modelo comprar. Es definir qué acciones podrá realizar el agente y con qué identidad. Si solo debe preparar borradores, no necesita permiso para enviarlos. Si ayuda a localizar información, no debería poder modificarla. Si consulta expedientes, debe acceder únicamente a los que el usuario que lo invoca está autorizado a ver. La autonomía debe ser una capacidad limitada por diseño, no una promesa comercial que se convierta en permiso general.
Conviene dibujar el flujo de extremo a extremo: qué entrada recibe el agente, qué contexto se añade, dónde se procesa, qué sistemas consulta, qué datos devuelve y qué acciones puede ejecutar. Ese mapa también debe mostrar los saltos entre proveedores. Un agente alojado en una plataforma empresarial puede enviar prompts a un modelo externo, recuperar documentos de un índice vectorial y llamar a un servicio de terceros. Para el usuario todo parece una sola conversación; para seguridad son varias fronteras de confianza.
La pregunta útil no es «¿puede el modelo hacer esto?», sino «¿qué pasaría si lo intentara cuando no debería?». Esa formulación desplaza el debate desde la precisión de las respuestas hacia la contención de daños. Un modelo puede acertar el 99 % de las veces y seguir siendo inaceptable si el 1 % restante incluye pagos, cambios de permisos o exposición de información confidencial sin revisión.
El riesgo más conocido es la inyección de instrucciones. Un usuario puede intentar que el sistema ignore sus reglas, pero también puede introducirse una instrucción en una página web, un correo o un documento que el agente recupera como contexto. Esta inyección indirecta resulta especialmente delicada porque el contenido malicioso puede llegar desde una fuente que la organización considera rutinaria. El agente no distingue de forma infalible entre una instrucción legítima y texto que solo está describiendo una instrucción.
Un ejemplo sencillo: un agente de compras resume ofertas recibidas por correo y puede actualizar el registro de proveedores. Un documento adjunto incluye texto diseñado para que el sistema busque información de otros proveedores y la incorpore a la respuesta. Aunque el modelo no obedezca exactamente el ataque, la combinación de recuperación de documentos y permisos de escritura puede producir una fuga o un cambio no autorizado. El problema no se soluciona solo con una instrucción en el prompt que diga «no reveles datos».
La segunda amenaza es la agencia excesiva: conceder al sistema más herramientas o capacidad de decisión de la que requiere su función. La categoría Excessive Agency aparece en el trabajo de OWASP sobre riesgos de aplicaciones con modelos de lenguaje. El patrón es reconocible: herramientas demasiado potentes, permisos demasiado amplios o falta de confirmación antes de ejecutar acciones sensibles. El modelo puede ser manipulado, malinterpretar una petición o generar una llamada defectuosa. Si la herramienta acepta esa llamada sin controles, el error deja de ser una respuesta incorrecta y se convierte en una operación real.
También existe el riesgo de filtración de información sensible. Puede producirse mediante una respuesta, una herramienta conectada, el contenido recuperado o los registros de depuración. Si un agente procesa expedientes de clientes y los prompts quedan almacenados en una consola accesible a demasiados administradores, la fuga no necesita una sofisticada técnica de ataque. Basta con que el ciclo de vida de los datos se haya diseñado pensando solo en la respuesta visible.
La memoria y las bases de conocimiento plantean otro problema. Una memoria persistente puede conservar una instrucción incorrecta o datos que no deberían reutilizarse en otra sesión. Un índice vectorial puede recuperar documentos de otra unidad, cliente o nivel de clasificación si los permisos se aplican solo en la interfaz y no también en la búsqueda. La recuperación semántica no es un control de acceso: que dos fragmentos se parezcan no significa que el usuario pueda ver ambos.
Por último, las herramientas y los conectores añaden riesgos de cadena de suministro. Un servidor, una extensión o un componente de terceros puede cambiar de versión, solicitar permisos nuevos o dejar de recibir mantenimiento. Protocolos de conexión como Model Context Protocol facilitan integrar herramientas, pero no convierten automáticamente cada servidor conectado en confiable. Hay que verificar el origen, limitar las capacidades expuestas y revisar qué información intercambia cada integración.
La arquitectura debe partir del principio de mínimo privilegio. Cada agente necesita una identidad propia y permisos ajustados a una función concreta; no debería heredar sin más la cuenta de servicio más amplia del equipo que lo construyó. Si el agente trabaja para un usuario, los controles deben conservar el contexto de autorización de ese usuario. Si actúa en segundo plano, sus permisos deben estar limitados a las tareas y datos asignados.
Separar lectura y escritura reduce el impacto de una instrucción maliciosa. Un agente que clasifica facturas puede leer documentos y proponer una categoría, pero no aprobar pagos. Uno que redacta respuestas puede preparar un borrador, pero no enviarlo a un cliente. La aprobación humana tiene sentido cuando la acción es relevante y el revisor recibe suficiente información para decidir; una ventana de confirmación automática que nadie lee solo añade una casilla más.
Para acciones de mayor impacto, la autorización debe incorporar límites verificables: destinatarios permitidos, importe máximo, tipos de registro modificables, frecuencia de ejecución y condiciones que obligan a escalar. Una herramienta de pagos, por ejemplo, debería validar la operación fuera del modelo: importe, beneficiario, cuenta, estado de aprobación y separación de funciones. El modelo puede proponer una transacción; no debería ser quien determine por sí solo que la transacción cumple las reglas.
Las llamadas a herramientas necesitan esquemas estrictos. En vez de aceptar texto libre que luego se interpreta como una orden, la aplicación puede exigir parámetros tipados y validar valores permitidos, rangos y relaciones entre campos. Las consultas deben ser de solo lectura cuando sea posible; las operaciones de escritura deben usar funciones acotadas, no una consola genérica. Dar acceso a un agente a un terminal, una base de datos o una API administrativa sin restricciones equivale a concederle capacidades que quizá no sabe que tiene, pero sí puede llegar a utilizar.
Los secretos tampoco deben aparecer en el prompt ni en el contexto recuperado. Las credenciales se guardan en un gestor de secretos y se entregan a la herramienta que las necesita, con una vida útil y un ámbito limitados. Las respuestas del modelo se validan antes de pasarlas a otro sistema. Si la salida va a convertirse en una consulta, una orden o código ejecutable, el sistema debe tratarla como entrada no confiable, no como una instrucción segura porque la haya generado un modelo corporativo.
La contención importa tanto como la prevención. Ejecutar herramientas en entornos aislados, restringir la salida de red, imponer límites de consumo y disponer de un mecanismo para revocar credenciales o desactivar un agente permiten reducir el daño cuando un control preventivo falla. La empresa debe poder cortar la ruta de acción sin tener que apagar todos los servicios que dependen del mismo proveedor.
El Reglamento de IA de la UE, Reglamento (UE) 2024/1689, no clasifica un sistema como de alto riesgo solo porque sea autónomo o use un modelo generativo. Importan su finalidad prevista y el ámbito de uso. El artículo 6 y el anexo III identifican categorías de alto riesgo que incluyen, entre otros supuestos, determinados usos en empleo y en la evaluación de la solvencia de personas. Un asistente interno que resume documentos no se convierte automáticamente en un sistema de alto riesgo; un sistema usado para influir en decisiones de selección o crédito puede tener otra consideración.
A 14 de noviembre de 2026, la aplicación general del Reglamento ya ha comenzado: el artículo 113 fija el 2 de agosto de 2026 como fecha general, con excepciones y calendarios distintos para algunas obligaciones. Entre ellas, los sistemas de alto riesgo vinculados a productos regulados por el artículo 6.1 tienen un calendario posterior. La clasificación debe hacerse sobre el uso concreto, no sobre la etiqueta comercial del proveedor. Llamar «copiloto» a una herramienta no altera la función que desempeña.
El artículo 4 exige que proveedores y responsables del despliegue adopten medidas para garantizar un nivel suficiente de alfabetización en IA del personal, atendiendo a sus conocimientos, experiencia, formación y contexto de uso. No equivale a impartir una charla genérica sobre prompts. Para un equipo que gestiona expedientes, la formación relevante incluye qué información puede introducir, cómo identificar una salida que necesita validación y a quién avisar ante una acción inesperada. Los artículos 13 y 14, cuando resultan aplicables a sistemas de alto riesgo, añaden exigencias sobre información al responsable del despliegue y supervisión humana.
El RGPD se aplica cuando el agente trata datos personales, aunque el proveedor lo describa como una herramienta de productividad. El artículo 5 exige, entre otros principios, minimización, limitación de la finalidad y conservación limitada. El artículo 25 obliga a incorporar protección de datos desde el diseño y por defecto; el artículo 32 exige medidas de seguridad adecuadas al riesgo. Si el proveedor trata datos por cuenta de la empresa, el artículo 28 exige un contrato de encargado con las condiciones correspondientes. Las transferencias internacionales, si las hay, requieren analizar además el capítulo V del Reglamento.
El artículo 22 del RGPD merece una lectura precisa: se refiere a decisiones basadas únicamente en tratamiento automatizado que produzcan efectos jurídicos o afecten de modo similar y significativo a una persona, con las condiciones y excepciones previstas en el propio artículo. Que un agente participe en una decisión no activa automáticamente esa disposición. Pero llamar «revisión humana» a una aprobación que el empleado acepta por defecto tampoco convierte por arte de magia una decisión automatizada en una decisión humana significativa. Cuando el tratamiento pueda entrañar alto riesgo, el artículo 35 exige valorar una evaluación de impacto relativa a la protección de datos.
Para las entidades financieras cubiertas por DORA, el Reglamento (UE) 2022/2554 es aplicable desde el 17 de enero de 2025. Sus artículos 5 y 6 sitúan la responsabilidad última de la gestión del riesgo TIC en el órgano de dirección y exigen un marco de gestión. Los artículos 28 y 30 regulan el riesgo asociado a terceros proveedores de servicios TIC y los elementos contractuales pertinentes. Si el agente depende de un modelo, una nube, una plataforma de orquestación o conectores externos, la evaluación no debería detenerse en el nombre del proveedor principal: hay que entender las dependencias y los servicios que sostienen la función.
DORA no exige aprobar cada experimento de IA en un comité de crisis. Sí impide tratar una dependencia tecnológica relevante como una compra de software sin consecuencias operativas. Para las funciones que apoyan procesos críticos o importantes, la entidad debe entender qué ocurre ante una indisponibilidad, cómo recupera el servicio, qué acceso conserva el proveedor y cómo puede salir del contrato o sustituir el componente. La responsabilidad de la entidad no desaparece porque el modelo esté alojado fuera de sus instalaciones.
La Directiva NIS2, en su artículo 21, establece obligaciones de gestión de riesgos de ciberseguridad para las entidades esenciales e importantes dentro de su ámbito. No se aplica indistintamente a toda empresa ni sustituye las obligaciones específicas de otros regímenes sectoriales. Para una organización incluida en su alcance, un agente conectado a sistemas corporativos forma parte del análisis de riesgos, no una excepción que quede fuera porque lo haya desplegado un equipo de innovación.
La evaluación debe empezar por el caso de uso. Especifica qué problema resuelve, quién lo utiliza, qué datos necesita y qué resultado produce. Después define las acciones permitidas y las prohibidas. «Ayuda a operaciones» es demasiado impreciso para aprobar permisos; «lee solicitudes de devolución, propone una respuesta y no modifica el pedido ni emite el reembolso» permite diseñar controles comprobables.
Luego hay que probar el flujo con entradas hostiles y casos de error, no solo con ejemplos limpios. Incluye documentos con instrucciones ocultas, solicitudes que intentan obtener datos de otro usuario, campos malformados, respuestas ambiguas y fallos de las herramientas. Comprueba si el agente sigue instrucciones contenidas en fuentes no confiables, si expone información en los registros y si puede continuar una cadena de acciones después de un resultado inesperado. Las pruebas deben medir tanto el comportamiento del modelo como el de la aplicación que lo rodea.
El NIST AI Risk Management Framework 1.0 ofrece una estructura voluntaria para organizar el trabajo en las funciones Govern, Map, Measure y Manage. El perfil de NIST para IA generativa, NIST AI 600-1, publicado en julio de 2024, amplía ese enfoque con riesgos propios de la IA generativa. No son una certificación automática ni sustituyen la legislación europea; sí ayudan a evitar que la evaluación se reduzca a una prueba de precisión del modelo. NIST Cybersecurity Framework 2.0, publicado en febrero de 2024, añade la función Govern al esquema del CSF y puede servir para conectar la iniciativa con la gestión corporativa del riesgo cibernético.
En producción, el registro debe permitir reconstruir qué ocurrió: usuario o proceso que inició la tarea, versión del agente y de sus herramientas, fuentes consultadas, llamadas realizadas, resultado y aprobaciones. No hace falta almacenar indiscriminadamente cada dato personal del prompt para conseguir trazabilidad. Hay que definir qué se registra, quién accede, durante cuánto tiempo y cómo se protege. Los registros con contenido sensible pueden convertirse ellos mismos en una nueva base de datos de alto riesgo.
La monitorización debe buscar comportamientos que indiquen desvío: llamadas a herramientas fuera del patrón habitual, picos de acceso a documentos, intentos repetidos de consultar datos restringidos, salidas anómalas o cambios en las dependencias. También debe existir un responsable operativo del agente. Si un modelo, un conector o una política cambia, alguien debe evaluar si las pruebas siguen siendo válidas. Una actualización aparentemente menor puede alterar la forma en que se interpreta una instrucción o se genera una llamada.
El proceso de respuesta a incidentes debe contemplar acciones específicas: revocar credenciales, deshabilitar herramientas, poner el agente en modo de solo lectura, conservar evidencias y determinar qué personas o sistemas pudieron verse afectados. Si hay datos personales, el equipo de privacidad debe evaluar las obligaciones del RGPD, incluido el artículo 33 sobre notificación de violaciones de seguridad a la autoridad de control cuando proceda. Para entidades financieras bajo DORA, los incidentes relacionados con TIC deben tratarse conforme al marco de gestión y notificación aplicable, no como una incidencia menor de producto por el hecho de que la acción la iniciara un agente.
Muchas organizaciones comienzan con un piloto pequeño y dan por supuesto que el riesgo también lo es. No siempre. Un prototipo puede usar datos reales, una cuenta con permisos de producción y un servicio externo con condiciones distintas a las del entorno corporativo. Si el piloto es experimental, debe estar aislado de los sistemas de producción y utilizar datos sintéticos o debidamente protegidos. Si necesita datos reales o acciones reales, debe someterse a controles proporcionales desde el principio.
La decisión de avanzar debería depender de criterios observables: el agente solo accede a los datos autorizados; no ejecuta operaciones fuera de su ámbito; las acciones sensibles requieren una aprobación que el revisor puede entender; los registros permiten reconstruir la actividad; y existe un mecanismo probado para suspenderlo. Si no se puede demostrar una de esas condiciones, ampliar el número de usuarios no es una forma de aprender. Es multiplicar la exposición.
También conviene medir el coste de las restricciones. Un agente que pide aprobación para cada paso puede resultar tan lento que los empleados busquen atajos fuera de los controles. La respuesta no es retirar todas las barreras, sino graduarlas según el impacto: automatizar tareas reversibles y de bajo riesgo, exigir confirmación para cambios relevantes y reservar una segunda autorización para operaciones de alto impacto. Esa graduación debe explicarse a los usuarios para que sepan por qué una acción se ejecuta sola y otra no.
La supervisión humana solo sirve si el humano tiene contexto, tiempo y autoridad para detener la operación. Un botón de «aceptar» colocado al final de una cadena opaca no es una salvaguarda robusta. La interfaz debe mostrar qué datos se utilizarán, qué acción se propone y qué consecuencias tendrá. Si la revisión no permite verificar esos elementos, el sistema está pidiendo confianza, no supervisión.
Los agentes pueden ahorrar tiempo y conectar tareas que antes exigían saltar entre aplicaciones. La ventaja es real. También lo es el cambio de escala: una sola instrucción puede desencadenar consultas y acciones en varios sistemas, con una velocidad que dificulta detectar el error antes de que se propague. El control más eficaz no es pedirle al modelo que sea prudente, sino limitar técnicamente lo que puede hacer.
Para un CISO, eso significa revisar identidades, permisos, conectores, secretos, registros y capacidad de respuesta. Para cumplimiento y privacidad, significa clasificar el uso, identificar datos y personas afectadas y comprobar qué obligaciones aplican según la función real del sistema. Para los responsables de negocio, significa aceptar que algunas operaciones seguirán necesitando validación humana, aunque el agente sea capaz de realizarlas.
La prueba final es sencilla de formular y menos sencilla de superar: si el agente recibe una instrucción maliciosa, un documento manipulado o una respuesta equivocada del modelo, ¿hasta dónde puede llegar antes de que un control independiente lo detenga? Si la contestación depende de que el modelo se comporte bien, la integración todavía no está lista.
Nota editorial
Resumen semanal gratis
Suscríbete al resumen semanal de regulación, vulnerabilidades explotadas y acciones para tu equipo.
¿Quieres un plan a medida? Modela tu organización con Agentic Digital Twin.
Aporta contexto, plantea una duda o responde a la conversación. Los comentarios son públicos y moderables.
Cargando comentarios…