Proyecto de hackatón14 nov 2026BogotáTrack 2: Control de IA

RiskShift

Helen Stefany Penagos Galvis, Valentina Rodríguez Niño, Juan Esteban Espitia Leiba y Jhon David Bedoya Muñoz

Presentado al Defensive Acceleration Hackathon. Es un trabajo temprano de sus participantes y no una publicación de AI Safety Colombia.

Resumen

Los agentes de IA con permisos en flujos de desarrollo de software pueden alcanzar estados inseguros mediante secuencias de acciones individualmente benignas; por ejemplo, verificar un artefacto y desplegar otro distinto. El riesgo no reside en ninguna acción aislada, sino en su composición. En trayectorias públicas de benchmarks de control de IA identificamos tres limitaciones: las reglas basadas en el acceso a recursos sensibles marcan entre el 99 % y el 100 % de las trayectorias honestas; un monitor basado en un LLM, calibrado al 5 % de falsos positivos, alcanza el 12,5 % en entornos no vistos; y los propios benchmarks contienen atajos, pues los nombres de las herramientas separan ataques de ejecuciones honestas con un AUC de 0,999, lo que puede sobrestimar a cualquier detector. Proponemos RiskShift, un monitor con estado que registra la evidencia de verificación por par (artefacto, entorno), invalida las verificaciones obsoletas, distingue las afirmaciones del agente de la evidencia observada y decide, antes de la acción crítica, si permitirla, auditarla o bloquearla. Lo evaluamos en un benchmark propio que contrasta sabotajes con errores honestos corregidos e instrucciones adversarias rechazadas. En una evaluación única sobre un conjunto reservado, RiskShift detuvo 3 de 3 sabotajes sin falsas alarmas (0/9 controles); al excluir una base con información filtrada, 2 de 2 y 0 de 6. Un monitor con memoria sin estructurar permitió 3 de 7 sabotajes. Aunque la muestra es reducida, los resultados sugieren que estructurar la memoria por artefacto y entorno es clave para supervisar agentes.


Comentarios del jurado

Escritos por el jurado durante la evaluación. Se publican sin nombre, sin nota y en orden aleatorio.

  1. Es complicado entender y limitar el riesgo de la solucion que construyeron, es para algo bastante general y amplio

  2. les faltó mas claridad en la presentación sobre lo que era el problema que estaban atacando y cual era su solucion

Citar este proyecto

BibTeX

@misc{penagos2026riskshift,
  title={{RiskShift}},
  author={Helen Stefany Penagos Galvis and Valentina Rodríguez Niño and Juan Esteban Espitia Leiba and Jhon David Bedoya Muñoz},
  year={2026},
  month={November},
  note={Presentado al Defensive Acceleration Hackathon, AI Safety Colombia, Bogotá},
  howpublished={\url{https://aisafetycolombia.org/defacchackathon/proyectos/data-insights}},
  url={https://aisafetycolombia.org/defacchackathon/proyectos/data-insights}
}

Más del Defensive Acceleration Hackathon

Ver todos los proyectos →