Proyecto de hackatón14 nov 2026BogotáTrack 1: Seguridad de agentes

Open Witness

Andrés Botero Ruiz, Laura Juliana Ferreira y Adrián Velásquez

Presentado al Defensive Acceleration Hackathon. Es un trabajo temprano de sus participantes y no una publicación de AI Safety Colombia.

Resumen

Cuando un agente de IA causa daño, hoy no hay forma confiable de saber si el usuario lo pidió o si una herramienta le inyectó la instrucción, como en los ataques recientes a servidores MCP. Open Witness es un gateway que se pone entre cualquier agente y su LLM sin modificarlo. Los prompts del usuario se firman con su llave Ed25519; las herramientas solo llegan al modelo si su descripción coincide con un manifiesto firmado por su publicador; y cada turno queda en una bitácora encadenada por hashes, firmada y anclada, que registra exactamente qué había en el contexto del modelo. Ante un incidente, un verificador primero comprueba la integridad de la evidencia y después atribuye la acción al usuario o a la herramienta responsable, indica de dónde salió cada argumento (por ejemplo, el destinatario de un correo) y si la atribución tiene no repudio. Lo evaluamos con 35 escenarios propios y 264 ataques ajenos de la competencia LLMail-Inject: detectó el 100 % de 364 manipulaciones de la bitácora, atribuyó correctamente 35 de 35 acciones con un modelo simulado y las 74 que ocurrieron con el modelo real gpt-oss-20b, no culpó a la víctima en ningún ataque ajeno, bloqueó los 47 manifiestos maliciosos sin falsos positivos y añadió 1 ms de latencia por llamada. Claude Code, OpenCode y Codex funcionan a través del gateway sin modificarlos. La criptografía prueba qué vio el modelo y quién firmó cada parte, no por qué decidió actuar.


Comentarios del jurado

Escritos por el jurado durante la evaluación. Se publican sin nombre, sin nota y en orden aleatorio.

  1. TL;DR: El registro firmado resiste la manipulación. Falta un ancla pública real y un adaptive attacker. Qué funciona - Detectaron 364 de 364 intentos de alterar el registro, incluidos 4 de alguien con la llave. (results/tamper.txt, línea 1) - En 264 ataques externos atribuyen bien 224 de 237. Nunca culpan a la víctima. (docs/ficha/resultados.md, línea 12) Qué limita la evidencia - El ancla externa está simulada. Un registro público real como Rekor solo está planeado. (docs/ficha_tecnica.md, línea 68) - Ningún atacante estudió las reglas de atribución para burlarlas. (docs/ficha/limites.md, línea 12) Baseline más barato - Un LLM judge solo acertó 21 de 35, frente a 35 de 35 de sus reglas. Las reglas ganan en sus propios escenarios. (results/attribution_judge.txt, línea 48) Siguiente paso - Conecten el ancla a un registro público real. - Prueben ataques que parafrasean el destino, donde hoy la atribución queda ambigua. Literatura relevante (muy similar, no exhaustiva) - AgentWatcher: A Rule-based Prompt Injection Monitor (2026), arXiv 2604.01194 - TracLLM: A Generic Framework for Attributing Long Context LLMs (2025), arXiv 2506.04202 Comentario preparado por un jurado con apoyo de Claude Opus 5.5. Verificamos cada punto contra sus propios archivos (se indica archivo y línea) y lo comparamos con trabajos publicados.

  2. Propuesta sólida y diferenciada dentro de la seguridad de agentes, al enfocarse en la integridad de la evidencia y la atribución de acciones potencialmente inducidas por prompt injection. Se destaca la combinación de firmas criptográficas, procedencia del contexto y registros verificables, así como la evaluación mediante manipulaciones controladas, escenarios de atribución y un conjunto externo de ataques. Como oportunidades de mejora, recomendamos fortalecer la validación del anclaje externo, explicar las garantías de identidad y no repudio, y distinguir explícitamente entre procedencia verificable y causalidad de las decisiones del modelo. También sería importante aclarar las diferencias en los tamaños de los conjuntos evaluados. Es una contribución prometedora para auditoría y respuesta a incidentes en sistemas agénticos.

  3. sería bueno ver un ejemplo de como hacen el sistema de atribución vs los resultados contra un llm as a judge

Citar este proyecto

BibTeX

@misc{botero2026open,
  title={{Open Witness}},
  author={Andrés Botero Ruiz and Laura Juliana Ferreira and Adrián Velásquez},
  year={2026},
  month={November},
  note={Presentado al Defensive Acceleration Hackathon, AI Safety Colombia, Bogotá},
  howpublished={\url{https://aisafetycolombia.org/defacchackathon/proyectos/las-newjeans}},
  url={https://aisafetycolombia.org/defacchackathon/proyectos/las-newjeans}
}

Más del Defensive Acceleration Hackathon

Ver todos los proyectos →