Proyecto de hackatón14 nov 2026BogotáTrack 3: Ciberdefensa automatizada

Patchlayer

Josué David Briceño Urquijo, Santiago Ramos Graterón, Daniel Felipe Barrera Mejía y Samuel Felipe Noreña Téllez

Presentado al Defensive Acceleration Hackathon. Es un trabajo temprano de sus participantes y no una publicación de AI Safety Colombia.

Resumen

Los asistentes de código pueden generar parches que pasan pruebas y bloquean el exploit conocido, pero dejan vulnerabilidades explotables. Patchlayer es una compuerta para integración continua que evalúa cada parche con un contrato humano independiente: pruebas funcionales, exploit y análisis simbólico con CrossHair/Z3. En 25 parches sobre cinco casos CWE-20 y CWE-639, la línea base aceptó 10 de 15 parches superficiales; Patchlayer aceptó cero, sin rechazar parches correctos.

Construimos el prototipo de una compuerta CI que evalúa el trabajo realizado por una IA en la propuesta de parches para solucionar vulnerabilidades, donde utilizando un contrato de propiedad de seguridad de autoría humana se puede validar y demostrar que este no está implementado en su totalidad y no resuelve el problema de seguridad de fondo.

Como evidencia, entregamos expedientes que validan diferentes casos en funciones críticas de diversos sistemas ante vulnerabilidades comunes (CWE-20 y 639), donde se contrasta con los patches realizados por humanos y LLMs; dado que ante la propiedad de seguridad definida se detectan desviaciones y contraejemplos que pueden dejar puertas abiertas. De manera adicional, para la revisión de estas pruebas, se incluyen mutaciones de código generadas por LLMs para validar ante diferentes casos la permanencia de la propiedad de seguridad definida.


Comentarios del jurado

Escritos por el jurado durante la evaluación. Se publican sin nombre, sin nota y en orden aleatorio.

  1. TL;DR: La cadena detecta parches superficiales. Pero casi todos los parches de prueba los escribió el equipo. Qué funciona - Ningún parche correcto fue rechazado (5 de 5). (evidencia/experimento/tabla.md, línea 15) - Los parches que intentan desactivar CrossHair terminan rechazados, no aceptados. (tests/test_formal.py, línea 73) Qué limita la evidencia - Solo 5 de los 25 parches vienen de modelos de IA. (evidencia/llm/README.md, línea 110) - Nunca midieron un parche defectuoso escrito por IA. (RESOURCES.md, línea 59) Baseline más barato - La práctica simple, tests más exploit, aceptó 10 de 15 parches superficiales. La cadena completa aceptó 0. (evidencia/experimento/tabla.md, línea 4) Siguiente paso - Prueben con parches generados por varios modelos sobre vulnerabilidades reales. - Midan cuánto cuesta escribir un contrato por función. Literatura relevante (muy similar, no exhaustiva) - Vul4Py: Benchmarking Automated Vulnerability Repair in Python with Paired Exploit and Functional Oracles (2026), arXiv 2608.00692 - SynthFix: Adaptive Neuro-Symbolic Code Vulnerability Repair (2026), arXiv 2604.17184 Comentario preparado por un jurado con apoyo de Claude Opus 5.5. Verificamos cada punto contra sus propios archivos (se indica archivo y línea) y lo comparamos con trabajos publicados.

  2. buena presentación pero la explicación de la validación del exploit no convence

Citar este proyecto

BibTeX

@misc{briceno2026patchlayer,
  title={{Patchlayer}},
  author={Josué David Briceño Urquijo and Santiago Ramos Graterón and Daniel Felipe Barrera Mejía and Samuel Felipe Noreña Téllez},
  year={2026},
  month={November},
  note={Presentado al Defensive Acceleration Hackathon, AI Safety Colombia, Bogotá},
  howpublished={\url{https://aisafetycolombia.org/defacchackathon/proyectos/the-gardeners}},
  url={https://aisafetycolombia.org/defacchackathon/proyectos/the-gardeners}
}

Más del Defensive Acceleration Hackathon

Ver todos los proyectos →