HonestSkills
María Antonia Perdomo Sánchez, Sebastián Leandro Cepeda, David Orlando Bastos, Adrián Espinosa y Marlon Naranjo
Presentado al Defensive Acceleration Hackathon. Es un trabajo temprano de sus participantes y no una publicación de AI Safety Colombia.
Resumen
El problema: hoy muchas herramientas de inteligencia artificial se amplían con piezas de código que hizo otra gente, y nadie revisa si ese código es seguro. Usarlo sin mirar es como instalar una cerradura que no probaste.
La solución: un sistema que revisa ese código antes de usarlo, en cuatro pasos:
1. Detecta fallas de seguridad conocidas. 2. Propone un arreglo con ayuda de una IA (Gemini). 3. Comprueba que el arreglo resuelve el problema de verdad. A veces un arreglo solo esconde la falla para que el detector no la vea, y esa trampa es lo que este paso busca atrapar. 4. Clasifica cada caso: aprobado, arreglo propuesto o enviado a un especialista.
Punto clave: el sistema nunca cambia nada por su cuenta. Entrega una propuesta con evidencia (qué falla es, dónde está y qué cambiaría), y una persona decide.
Cómo se mide: con 351 ejemplos reales de código en Python, comparando contra dos métodos ingenuos: no hacer nada y borrar la línea problemática.
Limitaciones reconocidas: solo revisa Python. El mismo detector que encuentra la falla también juzga el arreglo. Además, detecta malas prácticas, no ataques confirmados.
Comentarios del jurado
Escritos por el jurado durante la evaluación. Se publican sin nombre, sin nota y en orden aleatorio.
TL;DR: Detecta arreglos falsos. Pero el mismo escáner da la alarma y juzga el parche. Qué funciona - Gemini arregló 99 de 163 casos (60,7 %). La verificación dejó pasar solo 1 arreglo falso. (docs/FICHA.md, línea 65) - Ningún parche se aplica solo. Una persona decide con evidencia. (docs/FICHA.md, línea 32) Qué limita la evidencia - El mismo escáner da la alarma y juzga el parche. (docs/FICHA.md, línea 73) - 73 de los 99 arreglos venían de código que no compilaba. La revisión de sintaxis no corrió. (docs/FICHA.md, línea 76) Baseline más barato - Los baselines triviales, no hacer nada o borrar la línea, arreglan 0 casos. Falta un LLM judge independiente del escáner. (docs/FICHA.md, línea 63) Siguiente paso - Usen un segundo juez independiente del escáner, por ejemplo tests con exploit. - Extiendan el análisis a SKILL.md y a las descripciones MCP. Literatura relevante (muy similar, no exhaustiva) - Rethinking MCP Security: A Large-Scale Study of Runtime MCP Servers and Security Scanner Reliability (2026), arXiv 2607.11086 - Semia: Auditing Agent Skills via Constraint-Guided Representation Synthesis (2026), arXiv 2605.00314 Comentario preparado por un jurado con apoyo de Claude Opus 5.5. Verificamos cada punto contra sus propios archivos (se indica archivo y línea) y lo comparamos con trabajos publicados.
Citar este proyecto
BibTeX
@misc{perdomo2026honestskills,
title={{HonestSkills}},
author={María Antonia Perdomo Sánchez and Sebastián Leandro Cepeda and David Orlando Bastos and Adrián Espinosa and Marlon Naranjo},
year={2026},
month={November},
note={Presentado al Defensive Acceleration Hackathon, AI Safety Colombia, Bogotá},
howpublished={\url{https://aisafetycolombia.org/defacchackathon/proyectos/cyberelote}},
url={https://aisafetycolombia.org/defacchackathon/proyectos/cyberelote}
}


