Eventos

AI Safety Talks es una serie de encuentros para explorar distintos problemas y líneas de investigación en seguridad de inteligencia artificial, con personas trabajando directamente en el campo.

En esta primera edición exploraremos cómo se comportan los agentes de IA cuando interactúan entre sí, y los desafíos que esto plantea para entenderlos y mantenerlos bajo control.

¿Qué pasa si un modelo se comporta distinto porque detecta que está siendo evaluado, incluso sin decirlo explícitamente?

Eso podría volver mucho más difícil confiar en nuestras evaluaciones: un sistema podría parecer seguro durante una prueba y comportarse de otra manera fuera de ella.

Cuando varios agentes de IA trabajan juntos, el problema no es solo que uno falle, sino si el resto del sistema puede seguir funcionando sin que ese fallo se propague.

En esta charla del AI Incident Response Sprint, Manuela Chacón presentará el concepto de resiliencia cooperativa: la capacidad de un sistema multiagente para anticipar, resistir, recuperarse y adaptarse ante perturbaciones.

Los pesos de un modelo de IA pueden concentrar años de investigación, enormes costos de entrenamiento y capacidades que no están disponibles públicamente. Si un adversario logra robarlos, no está accediendo solo a datos: está llevándose el modelo mismo.

Pero ¿cómo se protege un activo así cuando el atacante puede tener infraestructura estatal, equipos altamente especializados y presupuestos de hasta mil millones de dólares?

Los agentes de IA ya no solo responden preguntas: también consultan información, usan herramientas y ejecutan acciones. Eso abre capacidades muy útiles, pero también nuevas superficies de ataque.

En esta charla del AI Incident Response Sprint, Christian Urcuqui mostrará cómo pueden comprometerse agentes mediante prompt injection, abuso de RAG, manipulación de decisiones y uso indebido de herramientas conectadas, y qué controles pueden reducir estos riesgos en producción.

La rendición de cuentas en IA suele sonar bien en el papel. El problema empieza cuando hay que responder preguntas concretas: ¿quién debía actuar, qué evidencia demuestra que lo hizo y quién puede exigir correcciones si algo falla?

En esta charla del AI Incident Response Sprint, María Flórez presentará una matriz para volver esas preguntas operativas a partir de tres elementos: deber, artefacto y foro.

Hablar de una IA “ética” sirve de poco si no está claro quién supervisa el sistema, qué debe cumplir y quién responde cuando algo sale mal.

En esta charla del AI Incident Response Sprint, Roberto Garcia abordará cómo traducir principios éticos en mecanismos concretos de gobernanza, cumplimiento, supervisión y responsabilidad jurídica.

Colombia está construyendo su lugar en la conversación global sobre inteligencia artificial. Reunimos en Bogotá a investigadores, builders y comunidades locales para conversar sobre los retos técnicos y éticos de construir IA más segura.

Juan Felipe Cerón, investigador de alineación en OpenAI, compartió desde remoto una mirada técnica a los principales retos de seguridad en sistemas avanzados de IA. Siguieron tres charlas relámpago de Robert Gómez Pachón (AIMedic, SIMG), Eric Manganaro (Young AI Leaders) y Jose Gelves (AI Safety Colombia).

Colombia aprobó en 2025 su política nacional de inteligencia artificial. Pero una política no se escribe sola: detrás hay años de mesas técnicas, tensiones entre lo político y lo técnico y apuestas sobre el futuro digital del país.

En esta cena conversamos con Viviana Vanegas, ex-directora de Desarrollo Digital del DNP, y Hugo Arenas, ex-coordinador del CONPES de IA, dos de las personas en el centro de ese proceso: cómo se construyó la política, qué viene y dónde están las oportunidades para quienes quieran incidir.

¿Cómo aprovechar el potencial de la IA sin perder de vista sus riesgos técnicos y legales? A partir de ejemplos reales, el conversatorio recorrió beneficios, sesgos, falta de transparencia, usos indebidos, métodos de auditoría y sus implicaciones jurídicas.

Conversaron Catalina Bernal y Melissa Robles, subdirectoras de Minería de Datos en Quantil, y Natalia Alarcón, directora de Innovación Legal en Posse Herrera Ruiz.

Un encuentro para conectar, colaborar y hacer crecer la comunidad de AI safety en Latinoamérica y más allá, abierto a cualquier persona interesada. La discusión fue en inglés.

Luis Enrique Urtubey, director en Good Judgement, habló de gobernanza de la IA en Brasil, y Nikolaus Howe, candidato a PhD en Mila e investigador de FAR AI, de cómo el escalamiento de los modelos afecta su seguridad.

Una cena para compartir un espacio de diálogo y reflexión con Juan David Gutiérrez, experto en regulación de la inteligencia artificial y política pública.

Juan David es profesor asociado en la Escuela de Gobierno de la Universidad de los Andes, con PhD y MSc en política pública de Oxford. Colidera la Mesa de Trabajo Multiactor sobre Regulación de Inteligencia Artificial y forma parte del grupo de expertos del Global Partnership on AI.

¿Cómo asegurar un desarrollo ético y responsable de la IA en Colombia? El panel exploró los desafíos y oportunidades de la inteligencia artificial en el contexto nacional.

Participaron María Antonia Carvajal, fundadora de IN SITU y LLM de Stanford; María Paula Mujica, asesora de IA en el UNDP y LLM de UCL, y Valeria Soler, embajadora de Women in AI y politóloga de Uniandes.

Una cena para compartir con María Paula Mujica un espacio de diálogo y reflexión sobre los retos y oportunidades que presenta la inteligencia artificial en Colombia.

María Paula, LLM de UCL, es asesora en políticas de IA en el UNDP. Antes fue asesora de la Presidencia en Transformación Digital e Inteligencia Artificial, participó en el AI Task-Force y es autora del Marco Ético para la Inteligencia Artificial en Colombia.

Primera charla del semestre de AE en Acción, con AE Uniandes, sobre los dilemas éticos del desarrollo de superinteligencias: ¿debe la humanidad ser el principal factor en su avance? Discutimos sus riesgos y beneficios y cómo alinear su desarrollo con los intereses de la sociedad.

Said Saillant es PhD en Filosofía del MIT, investigador postdoctoral en la Universidad de Harvard y director ejecutivo de Societas Sapiens.