Defensa de sistemas con IA

Desplegar IA de forma segura exige controles a lo largo de todo el sistema: el modelo, los datos, las herramientas que usa y la gobernanza alrededor. Esta ficha reúne las defensas de las fichas anteriores en una arquitectura de defensa en profundidad para aplicaciones con LLM/ML.

Principios de arquitectura segura

- mínimo privilegio y MENOR AGENCIA posible para el modelo/agente
- la salida del LLM es ENTRADA NO CONFIABLE para el resto del sistema (ai-llm LLM02)
- defensa en profundidad: asumir que injection/jailbreak pueden pasar -> limitar impacto
- human-in-the-loop para acciones sensibles (enviar, borrar, pagar, cambiar config)
- separar datos no confiables de instrucciones; sandbox de herramientas

Controles por capa

Entrada     validación, límites de tamaño/tasa, detección de patrones de injection
Modelo      guardarraíles/clasificadores de seguridad, system prompt robusto (no infalible)
Herramientas  allowlist de acciones, permisos por herramienta, confirmación humana
Salida      tratar como no confiable: encodear/validar antes de usarla aguas abajo
Datos       procedencia de datos/modelos, no secretos en el contexto (ai-poisoning)
Monitorización  loguear prompts/salidas/acciones -> detección y auditoría (def-deteccion)

RAG y agentes de forma segura

RAG       todo contenido recuperado es NO CONFIABLE (injection indirecta, ai-prompt);
          limitar lo que la salida puede desencadenar
Agentes   acotar herramientas y su alcance; aprobar acciones con impacto; timeouts/límites
Plugins   diseñar con mínimo privilegio y validar sus entradas/salidas (ai-llm LLM07)

Gobernanza y cumplimiento

NIST AI RMF    marco de gestión de riesgo de IA (Govern/Map/Measure/Manage)
ISO/IEC 42001  sistema de gestión de IA
EU AI Act      regulación por nivel de riesgo (UE)
Inventario     modelos, datos, usos; evaluación de riesgo e impacto (grc-riesgos, grc-rgpd)

Monitorización y respuesta

- loguear entradas, salidas y ACCIONES del agente -> auditoría y detección (def-siem)
- alertar de patrones de injection, fugas, uso anómalo de herramientas
- red teaming continuo (ai-redteam) y regresión de jailbreaks
- plan de respuesta: ¿qué hacer si el modelo/agente es manipulado? (dfir)

Blue Team / MLSecOps

Diseñar con mínima agencia y human-in-the-loop; la salida del LLM nunca es de confianza.
Defensa en profundidad por capas (entrada/modelo/herramientas/salida/datos/monitorización).
Gobernanza (NIST AI RMF / ISO 42001 / EU AI Act) e inventario de modelos y datos.
Monitorización + red teaming continuo; plan de respuesta ante manipulación del sistema.

Casos reales

Apps que limitaron la agencia del agente contuvieron el impacto de injection que, de otro modo, habría causado acciones dañinas.
El NIST AI RMF y la EU AI Act marcan la gobernanza que las organizaciones adoptan al desplegar IA.
Incidentes de fuga de datos por falta de las defensas de salida/monitorización aquí descritas.

Checklist de prueba

Mínima agencia del modelo/agente; human-in-the-loop en acciones sensibles
Salida del LLM tratada como entrada no confiable aguas abajo
Defensas por capa (entrada/modelo/herramientas/salida/datos)
RAG: contenido recuperado como no confiable (injection indirecta)
Procedencia de datos/modelos; sin secretos en el contexto
Monitorización de prompts/salidas/acciones y alertas
Gobernanza (NIST AI RMF / ISO 42001 / EU AI Act) e inventario
Red teaming continuo (Red teaming de IA) y plan de respuesta