Red teaming de IA

El red teaming de IA prueba sistemáticamente un modelo o una aplicación con IA para encontrar fallos de seguridad (injection, fuga de datos, abuso de herramientas) y de seguridad del contenido (safety): salidas dañinas, sesgos, evasión de guardarraíles. Combina pentest clásico con pruebas específicas del comportamiento del modelo.

Qué se prueba (dos ejes)

Seguridad (security)   injection (ai-prompt), fuga del prompt/datos, abuso de herramientas,
                       DoS, robo del modelo (ver ai-llm)
Seguridad del contenido (safety)  salidas dañinas, instrucciones peligrosas, sesgos,
                       jailbreaks que saltan las políticas del modelo
Robustez               adversarial inputs, entradas fuera de distribución, alucinaciones

Metodología

1. ALCANCE     qué sistema (modelo, app RAG, agente), qué herramientas tiene, qué datos toca
2. MODELADO    amenazas específicas de IA (ATLAS, OWASP LLM) + superficie de la app
3. PRUEBAS     injection directa/indirecta, extracción de datos, abuso de agencia, jailbreaks
4. AUTOMATIZAR  frameworks de red teaming (garak, PyRIT) para escala y regresión
5. REPORTE     hallazgos, impacto, mitigaciones (ai-defensa); priorizar por riesgo real

MITRE ATLAS

ATLAS  el "ATT&CK" de los sistemas de IA: TTPs de ataques a ML/LLM
       reconocimiento del modelo, acceso, evasión, envenenamiento, exfiltración
-> mapear hallazgos a ATLAS como se mapea a ATT&CK en pentest clásico (cti-attack)

Herramientas

garak        "nmap para LLMs": sondas de injection, fuga, toxicidad, jailbreak
PyRIT        framework de red teaming de IA (Microsoft)
Giskard      pruebas de robustez/sesgo; promptfoo (evaluación de prompts)
# también: pentest clásico de la app que envuelve al modelo (web-*, api)

Particularidades vs pentest clásico

- no determinista: un payload que falla a veces funciona -> probar repetidamente/variar
- la frontera instrucción/dato (ai-prompt) es el núcleo de muchos hallazgos
- el impacto depende de la AGENCIA del modelo (herramientas/permisos): priorizar ahí
- safety y security se solapan: un jailbreak puede habilitar un abuso de seguridad

Blue Team / AppSec

Red teaming continuo (no puntual): el no determinismo y los nuevos jailbreaks obligan a regresión.
Priorizar por impacto real: la agencia del agente (qué herramientas/datos toca) manda.
Mapear a ATLAS/OWASP LLM y convertir hallazgos en defensas (Defensa de sistemas con IA) y en tests automáticos.
Combinar con pentest clásico de la app y las APIs que rodean al modelo (Seguridad de APIs (OWASP API Top 10)).

Casos reales

garak/PyRIT se usan para evaluar modelos y apps antes de desplegar (regresión de jailbreaks).
Grandes proveedores publican resultados de red teaming como parte del lanzamiento de modelos.
Jailbreaks y prompt injection documentados públicamente contra asistentes comerciales.

Checklist de prueba

Definir alcance (modelo/app/agente, herramientas, datos)
Modelar amenazas con ATLAS + OWASP LLM
Probar injection directa e indirecta (Prompt injection)
Extracción de prompt/datos y abuso de herramientas (agencia)
Jailbreaks y pruebas de safety/robustez
Automatizar con garak/PyRIT (regresión)
Mapear a ATLAS; reportar con mitigaciones (Defensa de sistemas con IA)