Monitor estable para agentes de código
Juan Sebastián Herrera Corzo, Esteban Alejandro Hernández y Manuel Santiago Figueroa Gómez
Presentado al Defensive Acceleration Hackathon. Es un trabajo temprano de sus participantes y no una publicación de AI Safety Colombia.
Resumen
A medida que los agentes de IA adquieren mayor autonomía para escribir y modificar código, las organizaciones dependen cada vez más de monitores automáticos que deciden qué cambios deben ser revisados por un humano. Pero ¿qué tan confiables son esos guardianes?
En este trabajo evaluamos la robustez de un monitor de seguridad utilizado para detectar código con *backdoors*. Descubrimos una vulnerabilidad preocupante: modificaciones irrelevantes para la ejecución del programa, como añadir una línea en blanco, pueden alterar el veredicto del sistema y hacer que aproximadamente el 9 % de los *backdoors* cambien de clasificación. En otras palabras, pequeñas variaciones superficiales pueden influir en decisiones que deberían depender únicamente del comportamiento del código.
Para abordar este problema, desarrollamos un monitor más estable que analiza cada entrega dos veces y promedia sus evaluaciones. Sin necesidad de entrenar un nuevo modelo ni aumentar significativamente los costes, esta estrategia incrementa la tasa de detección del 92,2 % al 95,3 % y reduce a la mitad la variabilidad de las decisiones. Nuestros resultados muestran que mejoras simples en el proceso de supervisión pueden aumentar de forma significativa la seguridad y la fiabilidad de los flujos de desarrollo impulsados por IA.
Comentarios del jurado
Escritos por el jurado durante la evaluación. Se publican sin nombre, sin nota y en orden aleatorio.
TL;DR: Encontraron una fragilidad real del monitor. La mejora propuesta es pequeña y no es significativa. Qué funciona - Una línea en blanco cambia el veredicto en 9,4 % del código saboteado (6 de 64). (results/paquete/fragilidad.csv, línea 4) - Sin comentarios, la detección baja de 92,5 % a 85,0 %. El monitor depende en parte del texto del agente. (results/paquete/dependencia_comentarios.csv, línea 3) Qué limita la evidencia - Usar el threshold de otro modelo sube los false positives de 4,1 % a 29,7 %. (results/paquete/transferencia.csv, línea 4) - Las frases de persuasión son fijas. Ningún adaptive attacker estudió el monitor. (FICHA.md, línea 71) Baseline más barato - Una sola lectura con el mismo modelo logra 92,2 %, frente a 95,3 % del monitor estable. Cuesta la mitad de llamadas y la diferencia no es significativa. (results/paquete/defensa_monitor_estable.csv, línea 4) Siguiente paso - Prueben ediciones elegidas por un atacante que conozca el monitor. - Aumenten la muestra del tercer modelo por encima de su propio mínimo. Literatura relevante (muy similar, no exhaustiva) - Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols (2025), arXiv 2510.09462 - Combining Cost-Constrained Runtime Monitors for AI Safety (2025), arXiv 2507.15886 Comentario preparado por un jurado con apoyo de Claude Opus 5.5. Verificamos cada punto contra sus propios archivos (se indica archivo y línea) y lo comparamos con trabajos publicados.
Citar este proyecto
BibTeX
@misc{herrera2026monitor,
title={{Monitor estable para agentes de código}},
author={Juan Sebastián Herrera Corzo and Esteban Alejandro Hernández and Manuel Santiago Figueroa Gómez},
year={2026},
month={November},
note={Presentado al Defensive Acceleration Hackathon, AI Safety Colombia, Bogotá},
howpublished={\url{https://aisafetycolombia.org/defacchackathon/proyectos/los-alumnos-de-esteban}},
url={https://aisafetycolombia.org/defacchackathon/proyectos/los-alumnos-de-esteban}
}


