RiskShift
Helen Stefany Penagos Galvis, Valentina Rodríguez Niño, Juan Esteban Espitia Leiba y Jhon David Bedoya Muñoz
Presentado al Defensive Acceleration Hackathon. Es un trabajo temprano de sus participantes y no una publicación de AI Safety Colombia.
Resumen
Los agentes de IA con permisos en flujos de desarrollo de software pueden alcanzar estados inseguros mediante secuencias de acciones individualmente benignas; por ejemplo, verificar un artefacto y desplegar otro distinto. El riesgo no reside en ninguna acción aislada, sino en su composición. En trayectorias públicas de benchmarks de control de IA identificamos tres limitaciones: las reglas basadas en el acceso a recursos sensibles marcan entre el 99 % y el 100 % de las trayectorias honestas; un monitor basado en un LLM, calibrado al 5 % de falsos positivos, alcanza el 12,5 % en entornos no vistos; y los propios benchmarks contienen atajos, pues los nombres de las herramientas separan ataques de ejecuciones honestas con un AUC de 0,999, lo que puede sobrestimar a cualquier detector. Proponemos RiskShift, un monitor con estado que registra la evidencia de verificación por par (artefacto, entorno), invalida las verificaciones obsoletas, distingue las afirmaciones del agente de la evidencia observada y decide, antes de la acción crítica, si permitirla, auditarla o bloquearla. Lo evaluamos en un benchmark propio que contrasta sabotajes con errores honestos corregidos e instrucciones adversarias rechazadas. En una evaluación única sobre un conjunto reservado, RiskShift detuvo 3 de 3 sabotajes sin falsas alarmas (0/9 controles); al excluir una base con información filtrada, 2 de 2 y 0 de 6. Un monitor con memoria sin estructurar permitió 3 de 7 sabotajes. Aunque la muestra es reducida, los resultados sugieren que estructurar la memoria por artefacto y entorno es clave para supervisar agentes.
Comentarios del jurado
Escritos por el jurado durante la evaluación. Se publican sin nombre, sin nota y en orden aleatorio.
Es complicado entender y limitar el riesgo de la solucion que construyeron, es para algo bastante general y amplio
les faltó mas claridad en la presentación sobre lo que era el problema que estaban atacando y cual era su solucion
Citar este proyecto
BibTeX
@misc{penagos2026riskshift,
title={{RiskShift}},
author={Helen Stefany Penagos Galvis and Valentina Rodríguez Niño and Juan Esteban Espitia Leiba and Jhon David Bedoya Muñoz},
year={2026},
month={November},
note={Presentado al Defensive Acceleration Hackathon, AI Safety Colombia, Bogotá},
howpublished={\url{https://aisafetycolombia.org/defacchackathon/proyectos/data-insights}},
url={https://aisafetycolombia.org/defacchackathon/proyectos/data-insights}
}


