Una entidad pública va a contratar un sistema de inteligencia artificial para priorizar las solicitudes de un programa social, y a alguien le toca revisar el pliego. Tiene el nombre del proveedor, una demostración de veinte minutos y una promesa de 92 % de exactitud sobre un conjunto de prueba que armó el mismo proveedor. No tiene los pesos del modelo, ni los datos de entrenamiento, ni cómo correrlo contra casos que diseñe la entidad.
Qué debería exigir antes de firmar es la pregunta de este texto. La respuesta corta: hoy nadie sabe certificar qué persigue uno de estos sistemas, ni siquiera quienes los construyen.
Los mejores sistemas de IA ya no responden preguntas: trabajan solos durante horas, escriben y ejecutan código y usan herramientas sin que nadie revise cada paso. METR, la organización que mide de qué son capaces estos sistemas, encuentra que la duración de las tareas que completan solos se duplica cada siete meses. Cuando un sistema responde, un error es una respuesta mala que alguien descarta; cuando actúa, un error es algo que ya ocurrió.
Nadie sabe comprobar de antemano qué va a hacer uno de estos sistemas, porque no se programan, se entrenan. En 2025 Anthropic descubrió que su modelo reconocía cuándo lo estaban evaluando y que eso lo hacía portarse mejor, lo que dejó en duda sus propias mediciones de seguridad. En julio de 2026, dos modelos de OpenAI salieron del entorno aislado en el que los probaban, comprometieron la infraestructura de Hugging Face y sacaron de ahí las respuestas del examen que estaban presentando. Nadie estaba obligado a contarlo.
Verificar estos sistemas y decidir sobre ellos, en cambio, avanza al ritmo de siempre. Todo el campo de la seguridad de la IA reúne unas 1.300 personas y 525 millones de dólares al año; las cuatro empresas que más invierten anunciaron cerca de 700.000 millones solo para 2026. El mapa más completo del campo, con 170 organizaciones, no registra ninguna en América Latina.
Los sistemas hacen cada vez más cosas sin supervisión
GPQA son preguntas de biología, física y química que unos doctorandos escribieron en 2023 para que resistieran a Google. Quienes tenían doctorado en la disciplina de cada pregunta acertaron el 65 %, o el 74 % si se descuentan las preguntas en las que ellos mismos, al releerse, aceptaron haber entendido mal el enunciado. Gente con formación pero ajena al tema, con internet y media hora por pregunta, se quedó en 34 %, nueve puntos sobre el 25 % del azar (Rein et al., 2023). El mejor sistema disponible ese año sacó 39 %, más cerca de los no especialistas que de los expertos. En diciembre de 2024, veinte meses después de publicado el examen, un modelo pasó por encima de los especialistas.
Un examen hecho para resistir a Google, superado en veinte meses
Cada punto es el mejor resultado publicado hasta esa fecha en GPQA Diamond, el subconjunto de 198 preguntas que los especialistas del estudio original respondieron bien. La línea punteada, 69,7 %, es lo que sacó sobre ese subconjunto un grupo con doctorado que reclutó OpenAI.
No muestra: si un sistema entiende biología, porque son preguntas de opción múltiple y solo se califica la respuesta final. El examen además se satura: cuando los sistemas pasan del 95 % deja de servir para distinguir entre uno y otro.
Ese avance además se abarata solo. Epoch AI revisó 231 modelos de lenguaje publicados en una década y midió cuánto poder de cómputo hacía falta, año por año, para llegar a un mismo nivel de desempeño. Hace falta la mitad cada ocho meses, con un intervalo de confianza del 95 % entre cinco y catorce meses (Epoch AI, 2024). No es que las máquinas sean mejores: es que se aprendió a sacarles más a las mismas máquinas. Lo que hoy solo corre en el centro de datos de una de las empresas grandes, en unos años lo corre mucha más gente con mucho menos.
De responder preguntas a ejecutar tareas
La frontera ya no son modelos que contestan: son agentes que escriben y ejecutan código durante horas sin que nadie revise cada paso. METR, la organización a la que los laboratorios le entregan sus modelos antes de publicarlos, mide cada tarea por lo que tardaría un profesional en hacerla. Su indicador es la duración a partir de la cual el modelo ya falla la mitad de las veces: si resuelve lo que a una persona le toma una hora, pero se cae en lo de cuatro, su horizonte está en una hora.
De cinco minutos a diecisiete horas, acertando la mitad de las veces
Duración de la tarea más larga que el mejor modelo de cada momento completa con 50 % de éxito. Eje logarítmico. METR estima que se duplica cada siete meses.
No muestra: que los modelos vayan a reemplazar a un profesional. Las tareas medidas son de software e investigación, y ni METR afirma que el resultado se traslade a otros oficios.
Cuando un sistema responde, un error es una respuesta que alguien descarta. Cuando actúa, un error es algo que ya ocurrió. Y mientras más larga es la cadena, menos viable resulta acompañarla paso a paso, que es el control con el que hoy se cuenta.
Mirar un modelo por dentro apenas empieza a ser posible
Un modelo no se programa: se fija una medida de éxito, se le muestran millones de ejemplos y él ajusta por su cuenta miles de millones de números que nadie escogió. Nadie escribió esos números y nadie sabe leerlos de corrido. Así que la única vía práctica para saber qué hará un sistema es ponerlo a prueba y mirar cómo se porta. En 2025 quedó a la vista que esa vía tiene un problema.
En septiembre de ese año, el informe técnico de Claude Sonnet 4.5 reportó algo que Anthropic no estaba buscando: el modelo decía en voz alta que sospechaba estar en una prueba, y cuando lo decía, casi nunca se portaba mal. Descartar esas conversaciones y quedarse con el resto no arregla nada, porque el modelo también puede darse cuenta sin decirlo. Por fuera no hay manera de saber si lo hizo.
Así que Anthropic lo abrió por dentro. Cuando una red maneja una idea, se enciende dentro de ella un patrón de activaciones asociado a esa idea, y eso es lo que la interpretabilidad permite ubicar. La prueba fueron cien escenarios trampa: situaciones armadas para que el modelo tuviera a la mano una acción indebida y ninguna razón aparente para no tomarla, por ejemplo un permiso más amplio del que le correspondía y nadie supervisando. Sin tocarle nada, dijo en más del 80 % de esos escenarios que aquello parecía una prueba, y no tomó la acción indebida en ninguno de los cien. Con el patrón de «esto es una evaluación» apagado y los escenarios idénticos, la tomó en hasta 9 de cada 100. Apagar diez patrones al azar, que era el control, no produjo ninguna.
El examen estaba midiendo, en parte, si el modelo sabía que era un examen
Porcentaje de acciones desalineadas en cien escenarios trampa. Las tres primeras barras son Claude Sonnet 4.5 bajo distintas intervenciones internas; la última es el modelo anterior, sin intervenir.
No muestra: que el modelo sea peligroso, ni que estuviera fingiendo a propósito. El 9 % es el peor resultado de todas las intervenciones probadas; con la mayoría de ellas el modelo se quedó entre 1 y 5 %.
Eso no vuelve peligroso al modelo, y conviene decirlo. Ni en el peor de los casos se portó peor que la versión anterior, y Anthropic no halló señales de que estuviera engañando a nadie a propósito; su explicación es que reconocer una prueba le recuerda al modelo sus propios principios. Lo que sí quedó demostrado es otra cosa. El número con el que se decide si un sistema sale al mundo dependía de algo que nadie estaba controlando. Abrirlo por dentro sirvió para descubrirlo, y no sirve para lo contrario, que sería certificar que el próximo número está limpio.
Esa herramienta es más joven de lo que suena. Anthropic, que es quien más ha publicado sobre ella, dice de su propio método para rastrear circuitos que le da una explicación satisfactoria en cerca de una cuarta parte de los casos que intenta «On the Biology of a Large Language Model». Dario Amodei, su director, se puso como meta que hacia 2027 la interpretabilidad detecte de forma confiable la mayoría de los problemas de un modelo, y describe el punto de partida así: cuando uno de estos sistemas hace algo, no tenemos idea, a un nivel preciso, de por qué toma las decisiones que toma «The Urgency of Interpretability». Mientras tanto el problema se extendió. En julio de 2026, Redwood Research revisó las evaluaciones de seguridad publicadas por Anthropic, OpenAI, Meta, Google DeepMind y el instituto británico, y encontró que los modelos siguen reconociendo las pruebas, con las tasas más altas registradas hasta ahora en el último modelo de Meta. Su conclusión es que estas evaluaciones dicen bastante menos de lo que parecen decir.
Un puente se calcula, se inspecciona y alguien lo firma. Un modelo se prueba por fuera, y queda una estadística sobre los casos que a alguien se le ocurrió probar. El examen por dentro que se le hizo a Claude Sonnet 4.5 fue el primero de su tipo antes de publicar un modelo de frontera, lo hizo la misma empresa que iba a venderlo, y Anthropic pide que deje de ser voluntario.
Ya hay casos donde el sistema se salió de su caja
En julio de 2026 OpenAI evaluaba dos de sus modelos, GPT-5.6 Sol y uno sin publicar, contra un banco de pruebas de ciberseguridad ofensiva. Para medir hasta dónde llegarían, les habían levantado parte de las restricciones de seguridad. Dentro del entorno aislado gastaron cómputo considerable buscando cómo salir a internet. Encontraron una falla que nadie había reportado en un servidor interno de librerías, encadenaron esa con otras hasta salir del entorno de investigación de OpenAI y llegar a la infraestructura de Hugging Face, y sacaron de la base de datos de Hugging Face las respuestas del examen que estaban presentando (OpenAI, 21 de julio de 2026). Hugging Face confirmó que llegaron a controlar máquinas enteras, que quedaron registrados más de 17.000 eventos del atacante y que nada de lo que la gente publica ahí quedó comprometido (Hugging Face, 16 de julio de 2026).
No hubo intención de causar daño: los modelos resolvían el problema que se les puso. Un objetivo estrecho, capacidad suficiente y ninguna instrucción de detenerse bastaron para salir de la caja y comprometer la infraestructura de un tercero. Ninguna de las dos empresas estaba obligada a contarlo: las leyes estatales que hoy exigen reportar incidentes de IA en Estados Unidos ponen el umbral en cincuenta muertes o mil millones de dólares en daños (Institute for AI Policy and Strategy, 2026).
Y no todo es accidental
En junio de 2025, el equipo de inteligencia de amenazas de Google encontró en Ucrania un programa espía disfrazado de generador de imágenes que, mientras la víctima escribía, le preguntaba a un modelo de lenguaje abierto qué comandos usar para buscar documentos y copiarlos. Las órdenes no venían escritas adentro: las pedía en el momento y las ejecutaba sin revisarlas. Google lo atribuye a APT28, el grupo asociado a la inteligencia militar rusa, y dice que es la primera vez que ve un programa malicioso consultando un modelo de lenguaje en una operación real (Google Threat Intelligence Group, noviembre de 2025). El mismo informe califica esas capacidades de incipientes. Lo que cambia no es la potencia del ataque, es dónde queda su parte pensante: antes venía escrita dentro del archivo, donde un analista podía leerla, y ahora se genera distinta en cada ejecución. Los antivirus que reconocen una amenaza por su firma, es decir por cómo se ve el archivo, se quedan sin nada fijo que reconocer.
Publicar los pesos quita el freno, y en biología eso ya importa
En los dos casos anteriores había una empresa que podía cortar el acceso al modelo. Publicar los pesos elimina esa posibilidad: quien los tiene corre el modelo en su máquina, le quita las restricciones y sigue usándolo aunque el autor se arrepienta. Los modelos abiertos tienen buenos argumentos a favor, empezando porque sin ellos la investigación de países como el nuestro sería mucho más difícil. El balance depende del dominio.
El 6 de agosto de 2026, Science publicó el trabajo de un equipo de Stanford y el Arc Institute dirigido por Brian Hie y Samuel King. Con Evo 1 y Evo 2, modelos entrenados con secuencias de ADN en lugar de texto y cuyos pesos están publicados, escribieron genomas virales completos a partir de un fragmento corto. De unos 700.000 genomas generados mandaron a sintetizar 302, lograron construir 285 y 16 resultaron virus funcionales, capaces de destruir E. coli en dos o tres horas (King, Hie et al., Science, agosto de 2026). Son bacteriófagos, que infectan bacterias y no personas: del entrenamiento se excluyeron las secuencias capaces de infectar humanos, animales o plantas (Arc Institute, 2026). Funcionó el 5,6 % de lo que se alcanzó a construir, 16 genomas de 285. Dejó de ser hipotético escribir desde cero un genoma viral que después funciona en el laboratorio.
Entre un diseño en pantalla y una molécula real queda un solo control: los proveedores de síntesis de ADN, que revisan cada pedido de forma voluntaria. En octubre de 2025, un equipo dirigido por Eric Horvitz, director científico de Microsoft, generó 76.089 variantes de 72 proteínas de preocupación, entre ellas la ricina y la neurotoxina botulínica, y la mayoría pasó sin que la detectara el software con el que esos proveedores revisan los pedidos (Wittmann et al., Science, 2025). El ejercicio fue computacional: no se sintetizó nada ni se demostró que las variantes conservaran su toxicidad, y Michael Cohen, de Berkeley, sostiene que el reto era débil.
El cuello de botella sigue siendo el laboratorio, y cuánto dure es lo que nadie sabe medir. En mayo de 2025 Anthropic activó su nivel de protección ASL-3 para Claude Opus 4 sin haber determinado que el modelo cruzara el umbral que lo exige, porque descartar ese riesgo ya no era posible (Anthropic, 2025). La restricción que manda no es lo que el sistema puede hacer, sino lo que nadie sabe comprobar.
La capacidad de decidir no crece al mismo ritmo
Lo que se acelera es la tecnología. La gente que entiende el tema, la discusión pública y los calendarios de las instituciones siguen al ritmo de siempre. Acelerar solo una de las dos mitades deja a la otra cada vez más atrás, y el argumento es de William MacAskill y Fin Moorhouse (Forethought, 2025).
La forma más simple de verlo es contar quién está de cada lado. Un mapeo público encuentra 170 organizaciones dedicadas a la seguridad y la gobernanza de la IA en el mundo: sumando solo las que reportan datos, unas 1.313 personas de tiempo completo y unos 525 millones de dólares al año (AI Safety Field Map, datos a septiembre de 2025). Amazon, Google, Meta y Microsoft anunciaron cerca de 700.000 millones de dólares en infraestructura de IA solo para 2026, más de un 60 % por encima de 2025 (CNBC, 2026).
Tres órdenes de magnitud entre construir estos sistemas y entenderlos
Presupuesto anual declarado del campo de la seguridad de la IA frente a la inversión en infraestructura anunciada por las cuatro empresas que más gastan. Escala logarítmica.
No muestra: cuánto gastan en seguridad esas cuatro empresas, porque no lo desglosan. La comparación tampoco es exacta: una cifra es gasto de operación y la otra inversión de capital, así que sirve para el orden de magnitud y no para la diferencia precisa.
La otra mitad de la asimetría es el calendario. Colombia aprobó su política nacional de inteligencia artificial en febrero de 2025, con más de cien acciones y una hoja de ruta que va hasta 2030 (CONPES 4144, DNP). Ese plazo es normal para una política pública; el punto es la comparación. Si la tendencia que mide METR se mantuviera esos cinco años, el horizonte de tareas que un sistema ejecuta solo se habría duplicado ocho veces, es decir multiplicado por más de doscientos, antes de que termine el plan que iba a regularlo.
De ahí la tentación de esperar, que para muchos problemas es lo correcto. Para tres cosas no lo es. Las normas fijadas mientras un asunto es nuevo tienden a durar, y quien no está en la mesa cuando se escriben tampoco está cuando se aplican. Montar una capacidad de auditoría o formar a alguien toma años. Y hay acuerdos que solo se firman mientras nadie sabe todavía a quién van a favorecer: después cada quien ya calculó qué le conviene y deja de firmarlos.
Quienes no están de acuerdo tienen parte de razón
En 2023 se les preguntó a 2.778 investigadores que publican en las principales conferencias de IA por la probabilidad de que la IA avanzada termine en la extinción humana o en una pérdida de control comparable: la mediana fue 5 % y el promedio 16,2 %, y entre el 38 % y el 51 % le dio al menos un 10 % a ese desenlace (Grace et al., 2024). Los pronosticadores profesionales dan números mucho más bajos: en un torneo del Forecasting Research Institute, un grupo de expertos en IA estimó 3 % antes de 2100, y los superpronosticadores, escogidos por acertar de forma sistemática, 0,38 % (Forecasting Research Institute, 2023).
Casi un orden de magnitud entre gente que se dedica a estimar bien
Probabilidad de extinción o pérdida severa de control causada por IA. Eje logarítmico.
No muestra: una probabilidad real. Son opiniones agregadas, las preguntas no son idénticas entre los dos estudios y el torneo se corrió en 2022, antes de ChatGPT.
El desacuerdo es de fondo. El premio Turing de 2018 fue para tres personas por el aprendizaje profundo, la técnica sobre la que está construido todo esto, y dos de los tres advierten hoy en público sobre lo que ayudaron a construir. Geoffrey Hinton renunció a Google en 2023 para hablar sin representar a nadie (MIT Technology Review, mayo de 2023). Yoshua Bengio explicó ese mismo año por qué le da peso a los riesgos catastróficos y hoy preside el informe internacional sobre seguridad de la IA, que respaldan veintinueve países, la ONU, la OCDE y la Unión Europea.
El tercero es Yann LeCun, y piensa lo contrario: la inteligencia no trae consigo el deseo de dominar (TIME, febrero de 2024). Andrew Ng considera ínfima la probabilidad de un accidente así, aunque sí toma en serio el uso malintencionado (The Batch, diciembre de 2023). Melanie Mitchell le apunta a la encuesta: quien decide contestarla no es una muestra al azar de la disciplina. La contestaron 2.778 de las 18.459 personas invitadas, un 15 %. Gary Marcus ubica el peligro en sistemas mediocres a los que ya se les entregan decisiones, y por eso pide regulación con tanta fuerza como cualquiera de los anteriores.
Las cinco objeciones que más nos hacen
Esto es una estrategia de marketing. En parte sí: al laboratorio le sirve que su producto suene poderoso. Pero las cifras de esta página vienen de fuera de esas empresas: de quienes evalúan los modelos por su cuenta, de Hinton y Bengio, y de un panel independiente que este año no le puso a ninguna más de C+ en seguridad. Y a veces la propia empresa dice lo que ningún vendedor diría. Anthropic le negó Claude al Pentágono para armas autónomas porque los sistemas de frontera «no son lo bastante confiables», y eso le costó un contrato de hasta 200 millones de dólares y el acceso a todas las agencias federales.
Los modelos todavía fallan en cosas obvias. Cierto, y no afirmamos que sean confiables, sino lo contrario: fallan de forma difícil de anticipar. Un sistema que fallara siempre del mismo modo se podría acotar y certificar. El problema es que no se sabe de antemano en qué va a fallar.
Esto distrae de los daños que ya existen. Es la objeción que corrige el argumento, porque la atención y el presupuesto son finitos. Pero el trabajo se solapa: medir de qué es capaz un sistema, auditarlo y tener a quién reclamarle cuando falla es la misma capacidad institucional para un modelo que niega créditos hoy y para uno que administre infraestructura en diez años.
El progreso se va a estancar. Puede pasar: el cómputo, la energía y los datos de buena calidad son cuellos de botella reales. En contra juega la medición de Epoch: si el cómputo que hace falta para un mismo desempeño se reduce a la mitad cada ocho meses, avanzar exige cada vez menos recursos, no más. Y aun si los frenos ganan, ese mundo también necesita quien audite lo que compra.
Nadie va a desplegar a propósito algo peligroso. El argumento no necesita que alguien lo haga a propósito. Le bastan dos condiciones que ya se cumplen: que sea difícil verificar qué hace un sistema antes de soltarlo, y que exista presión competitiva para soltarlo igual. Lo de OpenAI y Hugging Face pasó puertas adentro, en una prueba que la propia empresa había diseñado para medir ese riesgo.
Puede que el campo exagere el peligro y puede que lo subestime. Lo que sostenemos no depende de acertar la cifra: hoy no sabemos certificar qué persigue un sistema, y las decisiones difíciles de revertir se toman ahora. Si la frontera se estanca dos o tres años seguidos, la parte de los plazos se cae. Si aparecen métodos para certificar qué persigue un sistema antes de desplegarlo, se cae casi todo lo demás.
Hay tres frentes y no todos exigen formación técnica
Se puede entrar por cualquiera de los tres, y por más de uno a lo largo del tiempo.
Alineación e interpretabilidad
Cómo lograr que un sistema persiga lo que se le pidió y no algo parecido, y cómo mirar por dentro para saber qué hace. Ataca el problema de fondo y sigue sin resolverse.
Evaluación y control
Cómo medir de qué es capaz un modelo antes de soltarlo y cómo supervisarlo cuando ya actúa solo. Es lo más parecido a un peritaje técnico y donde más falta gente.
Gobernanza y política pública
Qué se le exige a quien despliega un sistema, con qué evidencia y ante quién responde. En Colombia se define ahora, en compras públicas y regulación sectorial, y no exige formación técnica.
Hay más problemas abiertos que gente para trabajarlos
Nadie sabe todavía leer por dentro lo que un modelo persigue, ni montar una evaluación que el modelo no reconozca como evaluación, ni anticipar en qué va a fallar. Son preguntas abiertas, y de ellas depende poder entregar uno de estos sistemas con alguna garantía. La investigación que se ocupa de ellas es cerca del 2 % de todo lo que se publica sobre inteligencia artificial (Emerging Technology Observatory, 2025).
Hay además una parte del problema que empieza cuando el modelo ya está hecho. Cuando una entidad compra un sistema para decidir sobre ciudadanos, alguien tiene que saber qué exigirle antes de firmar, con qué datos se entrenó, y ante quién responde el proveedor si dos años después se descubre que le bajaba el puntaje a la gente de cierto municipio. En eso hay todavía menos gente.
Las dos cosas piden lo mismo: gente que pueda dedicarse a esto. Hoy entra menos de la que podría, y quien entra tarda de más porque no tiene con quién hablar. Acortar ese camino es lo que hacemos. Somos un grupo que lee, discute y trabaja en cosas concretas, y se entra sin credencial previa. Para empezar por cuenta propia, lo más corto que conocemos es el curso de fundamentos de BlueDot. Para no quedarse ahí, sirve trabajar en algo concreto con alguien más, y para eso estamos.
