Imagen generada por IAEl 32% de las organizaciones españolas ha sufrido ya algún incidente relacionado con la inteligencia artificial. La cifra, difundida por Cybersecurity News ES, no viene acompañada en la información disponible de la metodología completa, el tamaño de la muestra ni una definición detallada de “incidente”. Conviene no convertirla en una falsa precisión estadística. Pero incluso con esa cautela, apunta a un cambio operativo que muchas empresas siguen tratando como un asunto de productividad: la IA ya no solo redacta correos o resume reuniones. Empieza a leer bandejas de entrada, consultar sistemas, ejecutar flujos de trabajo y actuar en nombre de empleados.
Aquí está el quid. Un copiloto que se equivoca produce una respuesta mediocre. Un agente conectado al correo, al CRM y a una plataforma de pagos puede convertir el mismo error en una transferencia, una fuga de información o una decisión automatizada difícil de reconstruir. La diferencia no está en que el modelo sea más o menos brillante. Está en los permisos, las conexiones y la capacidad de actuar sin una aprobación humana.
Durante años, el debate sobre seguridad de la IA se concentró en el contenido generado: alucinaciones, sesgos, respuestas tóxicas o código defectuoso. Esos problemas siguen ahí, pero el riesgo empresarial más urgente se está desplazando hacia otra capa: qué puede hacer el sistema, con qué identidad, sobre qué datos y con qué controles. La pregunta para un CISO ya no es “¿qué modelo utiliza la empresa?”, sino “¿qué acciones puede ejecutar ese modelo y quién las puede detener?”.
Una estadística de prevalencia de incidentes solo resulta útil si se conoce qué cuenta como incidente. Puede incluir una filtración de datos causada por una herramienta pública, una respuesta incorrecta de un asistente, una campaña de prompt injection, una vulnerabilidad del proveedor o el uso no autorizado de una aplicación de IA por parte de un empleado. Son fenómenos distintos, con responsables, controles y obligaciones de notificación diferentes.
La noticia publicada por Cybersecurity News ES presenta la cifra del 32%, pero el contenido disponible no permite atribuirla a una categoría concreta ni medir su evolución frente a años anteriores. Por tanto, no sería serio afirmar que uno de cada tres incidentes empresariales españoles procede de la IA, ni que el 32% representa filtraciones confirmadas. Lo que sí puede sostenerse es que la adopción está creando una superficie de ataque que los inventarios tradicionales no registran bien.
Ese último punto explica por qué las cifras internas suelen ser peores que las estadísticas formales. Un equipo de seguridad puede conocer los modelos aprobados, pero no las extensiones de navegador que copian texto a servicios externos. El departamento jurídico puede haber revisado el contrato de un proveedor, pero no saber que el asistente conserva conversaciones para mejorar el servicio. Recursos humanos puede aprobar un copiloto para redactar evaluaciones y descubrir después que los datos utilizados incluían información médica o comentarios confidenciales.
La denominada IA en la sombra no es un fenómeno nuevo. Se parece al shadow IT, con una diferencia peligrosa: ahora la herramienta no solo almacena o transmite información, también puede interpretarla y tomar decisiones. Un documento que antes permanecía en una carpeta puede acabar alimentando un sistema que clasifica clientes, recomienda despidos, prioriza alertas o responde automáticamente a un proveedor.
Un chatbot tradicional espera una pregunta y devuelve texto. Un agente de IA recibe un objetivo, descompone tareas, consulta herramientas y puede encadenar acciones. Esa arquitectura introduce al menos cuatro riesgos que no se resuelven con una política que prohíba subir información confidencial a un modelo público.
El primero es la autoridad. El agente suele actuar con una identidad técnica o con las credenciales del usuario que lo ha instalado. Si tiene acceso de lectura al correo, puede extraer información. Si dispone también de permisos de envío, puede suplantar conversaciones. Si puede crear reglas, modificar tickets o llamar a una API financiera, el impacto deja de ser puramente informativo.
El segundo es la ambigüedad del objetivo. Una instrucción como “limpia la bandeja de entrada y responde a las solicitudes urgentes” parece inocua hasta que el sistema debe decidir qué es urgente, qué documentos puede adjuntar y si una petición externa es legítima. Los modelos no aplican por defecto la separación de funciones que una organización ha tardado años en implantar en sus aplicaciones tradicionales.
El tercero es la contaminación del contexto. Un correo malicioso puede contener instrucciones diseñadas para ser interpretadas por el agente. El sistema las lee como parte de la información que debe procesar y, si no distingue entre datos e instrucciones, puede obedecerlas. Es la prompt injection indirecta: el atacante no necesita acceder al mensaje de sistema; le basta con introducir contenido en una fuente que el agente consulta.
El cuarto es la acumulación de errores. Una respuesta incorrecta aislada puede corregirse. Una cadena de acciones erróneas se retroalimenta: el agente clasifica mal un documento, usa esa clasificación para seleccionar una herramienta, obtiene un resultado incompleto y lo presenta como base para la siguiente decisión. La automatización multiplica velocidad; también puede multiplicar una equivocación.
Por eso el control central no es “revisar las respuestas de la IA”. Hay que controlar las acciones. Un sistema puede generar texto sin riesgo material y, al mismo tiempo, ser inaceptable si puede borrar registros, cambiar datos maestros, modificar límites de crédito o enviar información a un destinatario externo.
Las organizaciones suelen agrupar bajo la etiqueta “incidente de IA” situaciones que requieren tratamientos diferentes. Separarlas es el primer paso para dejar de medir solo la novedad y empezar a gestionar el riesgo.
El caso más visible es el empleado que introduce contratos, código fuente, datos de clientes o información estratégica en una herramienta no aprobada. El riesgo depende de la configuración del proveedor: retención, entrenamiento con datos del cliente, ubicación del tratamiento, subencargados, controles de acceso y posibilidad de recuperación por otros usuarios.
El Reglamento General de Protección de Datos no contiene una excepción para los datos enviados a un modelo de moda. El artículo 5 exige licitud, lealtad, transparencia, limitación de la finalidad y minimización. El artículo 25 obliga a aplicar protección de datos desde el diseño y por defecto. El artículo 32 reclama medidas técnicas y organizativas apropiadas al riesgo. Si se produce una violación de seguridad de datos personales, el artículo 33 fija, cuando proceda, la notificación a la autoridad de control en un plazo máximo de 72 horas desde que el responsable tiene constancia.
La pregunta práctica no es si la empresa tiene una política de uso aceptable. Es si puede demostrar qué datos entraron en cada sistema, quién los introdujo, qué proveedor los procesó y si existía una base jurídica compatible con esa finalidad. Sin registros, la investigación se convierte en una reconstrucción a ojo, que es una técnica muy popular hasta que llega el regulador.
La prompt injection no se comporta exactamente como una vulnerabilidad clásica con un único identificador CVE. Es una familia de técnicas que explota la confusión entre instrucciones confiables y contenido no confiable. Un correo puede decirle al agente que ignore sus reglas, descargue un fichero, revele información previa o reenvíe una conversación. Si el agente no etiqueta las fuentes y no limita las herramientas, el atacante puede convertir una acción legítima de lectura en una acción no autorizada.
El riesgo aumenta cuando el sistema procesa contenido externo: correo electrónico, páginas web, documentos compartidos, tickets de soporte o repositorios de código. La organización puede confiar en su propio mensaje de sistema y, aun así, recibir instrucciones hostiles desde una fuente que el agente está obligado a leer.
Los controles eficaces son conocidos, aunque su aplicación a agentes todavía sea irregular: separar instrucciones de datos, aplicar listas de herramientas permitidas, validar parámetros antes de ejecutar llamadas, limitar el número de pasos, bloquear destinos externos y exigir autorización humana para acciones de impacto. El filtrado de texto por sí solo no basta. Un atacante no necesita utilizar una palabra prohibida si puede conseguir que el modelo interprete una orden aparentemente normal.
Muchas implantaciones conceden al agente el acceso del usuario para simplificar la integración. Ese diseño reduce trabajo inicial y aumenta el radio de explosión. Si una persona puede leer todos los expedientes de una unidad, el agente también. Si puede exportar datos, el agente puede intentar hacerlo. La autenticación correcta no compensa una autorización excesiva.
El control debe aplicarse en varias capas: identidad de máquina separada, permisos mínimos, segmentación por función, tokens de corta duración, límites de volumen y aprobación explícita para operaciones sensibles. El agente no debería heredar automáticamente privilegios administrativos porque el proceso de integración no encontró una solución más fina.
Un sistema que clasifica solicitudes, filtra candidatos o prioriza reclamaciones puede producir un incidente aunque no haya una intrusión. La decisión puede ser discriminatoria, incorrecta o imposible de justificar ante la persona afectada. En esos casos, el problema combina seguridad, privacidad, gobierno del modelo y responsabilidad empresarial.
El Reglamento de Inteligencia Artificial de la Unión Europea exige alfabetización en IA desde el 2 de febrero de 2025 mediante su artículo 4, y establece obligaciones específicas para determinados sistemas de alto riesgo. El artículo 9 exige un sistema de gestión de riesgos; el artículo 10 aborda la gobernanza y calidad de los datos; el artículo 12 reclama registro automático de eventos; el artículo 14 regula la supervisión humana; y el artículo 15 exige niveles adecuados de precisión, solidez y ciberseguridad. No todos los asistentes internos serán sistemas de alto riesgo, pero la lógica regulatoria es útil para cualquier despliegue con consecuencias materiales: si nadie puede explicar qué ocurrió, nadie controla realmente el sistema.
Una reacción frecuente consiste en esperar una ley específica para la IA autónoma. Es una mala estrategia. Las obligaciones existentes ya alcanzan varios puntos de la cadena.
El AI Act entró en vigor el 1 de agosto de 2024. Sus primeras prohibiciones y obligaciones de alfabetización comenzaron a aplicarse el 2 de febrero de 2025. Las obligaciones para proveedores de modelos de propósito general empezaron a aplicarse el 2 de agosto de 2025, mientras que una parte sustancial del régimen general tiene como fecha de aplicación el 2 de agosto de 2026. Este año, por tanto, la cuestión no es si la organización debe empezar a hablar de gobierno de IA, sino qué sistemas quedan dentro de su inventario y quién responde por ellos.
El artículo 50 del AI Act contiene obligaciones de transparencia para determinados sistemas, incluidos casos de interacción directa con personas y determinados contenidos generados o manipulados. La fecha de aplicación no convierte automáticamente todos los usos corporativos en sistemas regulados de alto riesgo, pero sí obliga a revisar interfaces, avisos y procesos de identificación. Un empleado no debería descubrir por accidente que lleva veinte minutos negociando con una máquina.
El RGPD aporta el marco para datos personales. El artículo 22 limita determinadas decisiones basadas únicamente en tratamiento automatizado cuando producen efectos jurídicos o efectos igualmente significativos, con las condiciones y excepciones que establece la norma. El artículo 35 exige una evaluación de impacto cuando el tratamiento pueda entrañar un alto riesgo, incluidos supuestos de evaluación sistemática y exhaustiva de aspectos personales basada en tratamiento automatizado. Un proyecto de IA que combine perfiles, decisiones y datos sensibles puede necesitar una EIPD antes de entrar en producción, no después del primer incidente.
Para entidades financieras y otros sectores regulados, DORA añade una capa operativa desde el 17 de enero de 2025. Sus artículos 5 a 16 exigen un marco de gestión del riesgo relacionado con las TIC; los artículos 17 a 23 regulan la gestión, clasificación y notificación de incidentes; los artículos 24 a 27 tratan las pruebas de resiliencia; y los artículos 28 a 44 establecen requisitos sobre el riesgo derivado de terceros proveedores de servicios TIC. Un modelo consumido a través de una API no deja de ser una dependencia TIC porque se presente como “innovación”.
La entidad financiera debe saber qué proveedor procesa información, qué funciones críticas dependen de él, cómo se notifica un incidente, qué evidencias conserva y cómo termina la relación. Si un agente puede preparar operaciones, alterar datos de clientes o sostener una función crítica, la clasificación no puede depender del nombre comercial de la herramienta.
La Directiva NIS2, en su artículo 21, exige medidas de gestión del riesgo de ciberseguridad que incluyen análisis de riesgos, seguridad de la cadena de suministro, gestión de incidentes, continuidad, criptografía, control de accesos y autenticación multifactor, entre otros elementos. El artículo 23 regula la notificación de incidentes significativos, con una alerta temprana en 24 horas y una notificación en 72 horas, además de un informe final posterior conforme al esquema de la directiva. La transposición nacional y el ámbito subjetivo deben revisarse por sector y jurisdicción, pero el mensaje operativo es claro: la IA no crea una vía de escape frente a las obligaciones de seguridad.
Una empresa puede tener un registro de modelos y seguir sin conocer su exposición. El inventario útil debe describir capacidades y dependencias. Para cada caso de uso, conviene documentar al menos:
Este inventario debe incluir desarrollos internos, funciones de IA activadas por defecto en aplicaciones contratadas y automatizaciones creadas por departamentos sin intervención del equipo central. Si solo recoge los proyectos aprobados por el comité de innovación, describirá la intención de la empresa, no su superficie real.
Hay una prueba sencilla. Pregunta a cinco responsables qué puede hacer el agente de soporte con un ticket que contiene un adjunto malicioso. Si las respuestas difieren, la organización aún no tiene un control; tiene una historia que cada equipo cuenta de forma distinta.
La seguridad de los agentes no se consigue añadiendo una pantalla de consentimiento al final del flujo. Tiene que estar en la arquitectura.
El principio más eficaz es separar lectura, razonamiento y acción. Un agente puede analizar un documento sin tener permiso para enviarlo. Puede preparar una orden sin ejecutarla. Puede proponer una modificación sin escribir directamente en el sistema de registro. Esa separación permite introducir puntos de control proporcionales al impacto.
Las operaciones de bajo riesgo pueden automatizarse. Las de riesgo medio pueden exigir una confirmación contextual: qué se va a cambiar, sobre qué datos, con qué destinatario y por qué. Las operaciones irreversibles o reguladas deben quedar fuera de la autonomía del agente o requerir una aprobación reforzada. “Human in the loop” no significa colocar a una persona delante de una pantalla que pulsa aceptar sin leer; significa darle información suficiente, tiempo razonable y autoridad real para detener la operación.
El registro debe capturar más que la respuesta final. Para investigar un incidente habrá que reconstruir la entrada, las fuentes consultadas, las instrucciones aplicadas, las herramientas invocadas, los parámetros enviados, las decisiones de autorización, el resultado y la intervención humana. La retención debe equilibrar trazabilidad y minimización de datos. Guardarlo todo indefinidamente no es gobierno; es acumular otro problema de privacidad.
También hay que probar comportamientos adversarios. Las pruebas deberían incluir documentos con instrucciones ocultas, enlaces maliciosos, solicitudes fuera de alcance, intentos de extracción de contexto, abuso de permisos, respuestas ambiguas y fallos del proveedor. El objetivo no es demostrar que el modelo es inteligente. Es comprobar que el sistema falla de forma contenida.
Los equipos pueden apoyarse en NIST AI RMF 1.0 y en NIST CSF 2.0 para ordenar funciones de gobierno, identificación, protección, detección, respuesta y recuperación. Ninguno sustituye al AI Act, al RGPD, a DORA o a NIS2. Su valor está en convertir principios abstractos en prácticas operativas: propietarios definidos, controles verificables, métricas y tratamiento de excepciones.
La dependencia externa suele estar mal descrita en los contratos. La organización negocia disponibilidad y precio, pero deja en segundo plano la conducta del modelo, los registros, los subencargados, el entrenamiento con datos del cliente y la respuesta ante una orden de una autoridad.
Un contrato de IA debería aclarar, como mínimo, si los datos del cliente se utilizan para entrenar modelos, qué opciones de retención existen, cómo se notifican incidentes, qué información estará disponible para investigar, qué controles de segregación se aplican y cuánto tarda el proveedor en revocar accesos. También debe establecer límites para cambios de modelo. Una actualización que altera el comportamiento puede ser un cambio de servicio con impacto de control, aunque el proveedor la describa como una mejora rutinaria.
La cadena se vuelve más compleja cuando el proveedor principal utiliza otro modelo, una plataforma de nube, un servicio de filtrado y herramientas de observabilidad. El responsable de la relación comercial puede no ser capaz de enumerar todos los subproveedores. Esa opacidad importa especialmente cuando los datos atraviesan fronteras o cuando la entidad necesita cumplir con requisitos de localización, secreto profesional o resiliencia.
En el sector financiero, DORA obliga a tratar la dependencia de proveedores TIC con una disciplina más formal, incluidos registros de acuerdos contractuales y evaluación de funciones críticas o importantes. La salida del proveedor tampoco puede quedar en una frase genérica. Hay que probar cómo se desactiva el agente, cómo se recuperan prompts y logs, cómo se sustituyen las APIs y cómo se mantiene el servicio durante la transición.
Cuando un agente envía información a un tercero o ejecuta una acción no autorizada, la primera prioridad es contener, no discutir si el evento merece la etiqueta “fallo del modelo”. La cuenta técnica debe poder revocarse, las herramientas deben deshabilitarse y las sesiones activas deben invalidarse. Después habrá que preservar evidencias sin alterar los registros que permitan reconstruir la secuencia.
El equipo de respuesta necesita un procedimiento específico para distinguir entre cuatro escenarios: exposición de datos personales, incidente de ciberseguridad sin datos personales, error operativo con impacto financiero y uso indebido de una herramienta por un empleado. Pueden coincidir en un mismo caso, pero activan análisis y comunicaciones diferentes.
En un caso sujeto al RGPD, el reloj de 72 horas del artículo 33 empieza cuando el responsable tiene constancia de una violación de seguridad de datos personales, no cuando concluye cada detalle forense. En un entorno cubierto por NIS2, la alerta temprana de 24 horas y la notificación de 72 horas del artículo 23 exigen una coordinación que no puede improvisarse después de la intrusión. Para entidades financieras sujetas a DORA, el régimen de incidentes y los criterios de clasificación deben integrarse en el proceso correspondiente, no duplicarse en una hoja de cálculo paralela.
El análisis posterior debería preguntar por qué el agente tenía ese permiso, por qué una fuente no confiable podía introducir instrucciones, por qué no había un límite de acción y por qué la supervisión humana no detectó el problema. Culpar al modelo es cómodo y casi siempre incompleto. El modelo no aprobó el diseño de acceso, el contrato ni la excepción del comité de urgencia.
La dirección debe exigir una visión consolidada de los usos de IA antes de aprobar más automatizaciones. No basta con recibir una lista de modelos. El informe debe mostrar procesos afectados, datos tratados, proveedores, permisos, controles y escenarios de fallo.
El CISO debería priorizar los agentes con capacidad de escritura, envío, borrado, pago, cambio de configuración o acceso a información regulada. Esos usos merecen una revisión técnica independiente y pruebas adversarias antes de ampliar su autonomía. Los asistentes exclusivamente informativos pueden tener un riesgo menor, pero no son automáticamente inocuos: un consejo incorrecto en un proceso crítico también puede causar daño.
Compliance y privacidad deben vincular cada caso de uso con su base legal, finalidad, retención, evaluación de impacto y responsable. Cuando exista una decisión automatizada relevante, el análisis debe cubrir el artículo 22 del RGPD y las obligaciones de información aplicables. Cuando el sistema entre en el ámbito del AI Act, la clasificación no puede quedar en manos del proveedor sin revisión del deployer.
Compras debe dejar de aceptar contratos de IA que prometen “seguridad empresarial” sin describir controles verificables. Esa expresión puede significar cifrado y autenticación; también puede significar una diapositiva con una persona sonriendo frente a un portátil. El contrato debe traducirla en derechos de auditoría, notificación, registros, subcontratación, ubicación, borrado y salida.
Los empleados necesitan formación práctica. Decir “no introduzcas información confidencial en la IA” es demasiado genérico. Hay que explicar qué se considera confidencial, qué herramientas están aprobadas, qué datos pueden utilizarse, cómo detectar una instrucción maliciosa y cómo informar de un error. El artículo 4 del AI Act convierte la alfabetización en una obligación relevante, pero la formación será inútil si la vía aprobada es tan lenta que empuja a los equipos hacia servicios no autorizados.
Una filtración visible activa investigaciones. Una decisión automatizada incorrecta que nadie registra puede pasar por un problema de rendimiento. Un agente que reenvía un documento a un proveedor externo puede generar una alerta. Un sistema que clasifica mal cientos de solicitudes durante semanas quizá solo deje una estadística extraña en el cuadro de mando.
Por eso las métricas deben ir más allá del número de incidentes confirmados. Conviene medir cuántos agentes tienen permisos de escritura, cuántos casos de uso tienen propietario, qué porcentaje conserva trazabilidad completa, cuántas excepciones siguen abiertas, cuántas herramientas externas pueden recibir datos corporativos y cuánto tarda la revocación de un agente comprometido.
La organización también debería registrar los casi incidentes: una instrucción maliciosa bloqueada, una respuesta enviada a un destinatario incorrecto pero recuperada a tiempo, un modelo que solicitó una herramienta fuera de su alcance o un empleado que utilizó un servicio no aprobado sin que hubiera exposición demostrada. Si solo se contabiliza el daño confirmado, el cuadro de mando premia a quien no mira.
La cifra del 32% merece atención precisamente porque llega cuando las empresas están pasando de experimentar con chatbots a conectar modelos con procesos reales. No demuestra por sí sola qué tipo de incidentes se han producido ni permite comparar sectores. Sí plantea una pregunta incómoda y operativa: ¿cuántos agentes actúan hoy con permisos que la empresa no ha inventariado?
La respuesta determinará si la IA se convierte en una herramienta controlable o en una nueva clase de usuario privilegiado sin cuenta propia. El primer escenario exige arquitectura, contratos, registros, supervisión y capacidad de respuesta. El segundo solo exige confianza. Y la confianza, como control de seguridad, suele funcionar hasta el día en que deja de hacerlo.
Nota editorial
Resumen semanal gratis
Suscríbete al resumen semanal de regulación, vulnerabilidades explotadas y acciones para tu equipo.
¿Quieres un plan a medida? Modela tu organización con Agentic Digital Twin.
Aporta contexto, plantea una duda o responde a la conversación. Los comentarios son públicos y moderables.
Cargando comentarios…