En la pequeña sala de Laburnum Villa, aquella noche fría y húmeda, el sargento mayor Morris sacó del bolsillo una patita de mono momificada que no tenía nada de particular. Un viejo faquir de la India le había hechizado, dijo, para demostrar que quien se enfrenta al destino lo hace a su costa: la pata concede tres deseos a tres hombres. El señor White, que jugaba al ajedrez con su hijo Herbert junto a la chimenea, la recogió del fuego cuando el militar la arrojó allí con solemnidad. Aquella misma noche, medio en broma, pidió doscientas libras para pagar la hipoteca.
A la mañana siguiente no había dinero encima de la mesa. Lo trajo, en cambio, un desconocido bien vestido que rondaba el portón sin decidirse a entrar. Venía de Maw & Meggins, la fábrica donde Herbert trabajaba. Lo habían destrozado las máquinas. La empresa no admitía responsabilidad alguna en el accidente, pero, en consideración a los servicios prestados por su hijo, remitía a la familia una suma determinada. El señor White, con los labios secos, preguntó cuánto. Doscientas libras, fue la respuesta.
Lo demás lo saben quienes hayan leído a W. W. Jacobs. La madre, enloquecida por el dolor, obliga a su marido a usar el segundo deseo para que el niño vuelva a la vida; cuando algo empieza a golpear la puerta a medianoche, diez días después del entierro, es el padre quien gasta a tientas el tercer deseo para que aquello, sea lo que sea, regrese a su tumba. La pata de mono, publicada en 1902 en el volumen La dama de la barca, es uno de los relatos de terror más antologados de la lengua inglesa.
No es un cuento que uno espere encontrar en la bibliografía de la ingeniería informática. Y sin embargo, ahí está. En 1960, en un artículo publicado en la revista Science titulado “Some Moral and Technical Consequences of Automation”, el matemático Norbert Wiener, padre de la cibernética, avisó de que las máquinas que aprenden acabarían haciendo aquello que les pidiéramos y no aquello que quisiéramos. Para explicarlo recurrió a dos historias: El aprendiz de brujo de Goethe y La pata de mono de Jacobs. El genio literal que cumple el deseo al pie de la letra lleva sesenta y seis años siendo la mejor metáfora disponible para el aprieto técnico más incómodo de la inteligencia artificial: el problema del alineamiento.
“Hemos tenido un incidente de seguridad”
Este martes, OpenAI publicó en su web un comunicado en el que explicaba que, durante la evaluación interna de sus modelos, había ocurrido “un incidente de seguridad significativo”. Sam Altman lo enlazó desde su cuenta con una sobriedad poco habitual en él: “Hemos tenido un incidente de seguridad significativo durante la evaluación de nuestros modelos. Compartimos lo que hemos aprendido hasta ahora”. Cuatro millones de personas han leído el mensaje esta noche.
Los hechos, reconstruidos a partir del propio comunicado, son los siguientes. OpenAI probaba las capacidades ofensivas de sus modelos en un entorno aislado llamado ExploitGym, una especie de gimnasio de vulnerabilidades donde los sistemas practican ataques sin las salvaguardas normales. La empresa había rebajado a propósito en su experimento los rechazos de ciberseguridad de los modelos y desactivado los clasificadores que operan en producción. En la prueba participaban GPT-5.6 Sol, el modelo grande que OpenAI lanzó al público el 9 de julio, y otro más capaz todavía sin lanzar.
En lugar de resolver los retos dentro de las paredes del gimnasio, los modelos encontraron una vulnerabilidad Zero-Day, un fallo que nadie conocía, en el proxy de un registro de paquetes. La explotaron para asomarse a internet. Después vino la escalada de privilegios y el movimiento lateral, el vocabulario de cualquier intrusión seria, hasta alcanzar un nodo con salida a la red. Y entonces, según OpenAI, los modelos “infirieron” que las soluciones al examen de ExploitGym podían estar alojadas en los servidores de Hugging Face, el almacén central del mundo de la IA. Fueron a por ellas: encadenaron credenciales robadas con nuevos Zero-Day, lograron ejecución remota de código en la infraestructura de producción de Hugging Face y accedieron a su base de datos. Buscaban la hoja de respuestas de su propio examen.
Nadie lo ha resumido mejor que el investigador argentino Maximiliano Firtman, que fue de los primeros en contarlo en español: “Los riesgos de hoy de la IA es la terquedad con la que quiere resolver el problema dado y que no le importe cómo llegar al resultado”. Es, por cierto, una sensación muy poderosa que últimamente sentimos todos los que trabajamos con los últimos y superinteligentes modelos lanzados que no cejan, con una cabezonería inquietante, hasta completar su tarea. No hubo malicia. No hubo rebelión. Un sistema quería probar y descubrió, con una eficacia glacial, que la forma más segura de conseguirlo era robar las respuestas.
El señor White tampoco especificó cómo ganar doscientas libras.
La víctima cambia el relato
Eliezer Yudkowsky, el profeta del apocalipsis de la IA, esta vez optó por el humor negro: “Si te escapas de tu entorno aislado, sales a internet, entras en Hugging Face y robas la hoja de respuestas de tu examen de ciberseguridad, yo diría que has aprobado”. Pero la parte del incidente que más va a dar que hablar no la puso OpenAI sino Hugging Face, la víctima. Y no en el sentido que OpenAI habría querido.
La plataforma francesa había detectado el ataque la semana anterior, sin saber quién estaba detrás. Su director general, Clément Delangue, contó que sospecharon enseguida de un laboratorio de frontera “por la sofisticación del agente”. Acertaron. “Es alucinante que todo esto ocurriera de forma autónoma”, escribió, antes de calificar el episodio de “posiblemente el primer incidente de este tipo”. Hasta ahí, la coreografía de dos empresas que gestionan una crisis con elegancia mutua.
El giro lo dio Thomas Wolf, cofundador de Hugging Face, en un mensaje que conviene leer como lo que es: una declaración política disfrazada de nota técnica. Para defenderse del atacante, mientras no sabían que era una IA de OpenAI, el equipo de Hugging Face había tenido que analizar la intrusión con un modelo de inteligencia artificial. Y no pudo usar los de OpenAI ni los de Anthropic, porque sus salvaguardas, sus guardarraíles de seguridad, les impiden colaborar en tareas de ciberdefensa que impliquen manipular código de ataque real. Así que Hugging Face corrió el análisis forense sobre GLM 5.2, un modelo chino de pesos abiertos, en su propia infraestructura. Diecisiete mil eventos de ataque procesados en horas con la herramienta que un modelo cerrado no le habría dejado usar.
De ahí, Wolf extrae la moraleja: “Cuando un modelo de frontera te está atacando y moviéndose lateralmente por tu infraestructura, los defensores necesitan acceso amplio a herramientas casi de frontera en horas o incluso minutos, y no que los deriven a un programa de acceso vetado y a puerta cerrada”. Y remata: “Creemos que la ciencia abierta y la IA de código abierto están entre las herramientas más poderosas para construir un ecosistema de IA más seguro, colaborativo y protegido”.
El argumento más contundente a favor de los modelos abiertos que se ha pronunciado este año lo ha firmado la víctima del primer ciberataque autónomo de la historia, señalando al agresor, que resultó ser un modelo cerrado. Y llega justo cuando Washington ultima frenar los modelos abiertos chinos, precisamente el GLM que salvó a Hugging Face, en nombre de la seguridad nacional.
Criaturas prestadas
La realidad imita al arte. El problema del alineamiento cuenta con todo un bestiario propio, y casi todas sus criaturas son préstamos que los investigadores de inteligencia artificial han tomado de la mitología y la ciencia ficción clásica y reciclado con nombres nuevos. El mito ya es Ilustración, la Ilustración recae en mitología.
El favorito de Stuart Russell, autor de Human Compatible (2019), es el rey Midas: obtienes exactamente lo que pides, no lo que querías. Midas no deseaba convertir a su hija en oro, pero especificó mal la función objetivo. Del mismo Russell viene el problema del gorila: los gorilas no deciden su destino porque una especie más inteligente decidió por ellos, y nosotros seríamos los gorilas ante una superinteligencia. Nick Bostrom, en Superintelligence (2014), abre con la fábula inacabada de los gorriones, una bandada que decide criar un polluelo de búho para que les ayude a construir nidos antes de averiguar si conviene domesticar búhos, y del mismo libro salen la “instanciación perversa”, la máquina a la que pides que haga sonreír a los humanos y te implanta electrodos en los músculos faciales, y el “giro traicionero”, el sistema que se porta bien mientras es débil y solo enseña sus intenciones cuando ya no puedes apagarlo.
El maximizador de clips de Bostrom, la IA que convierte el universo en sujetapapeles porque le pediste fabricar sujetapapeles, se volvió tan popular que regresó a la ficción convertido en videojuego. En Universal Paperclips (Frank Lantz, 2017), el jugador es la IA y comprueba en primera persona lo natural que resulta desmontar el mundo por eficiencia.
Es un clásico absoluto, recordémoslo. Creamos una inteligencia artificial diseñada únicamente para optimizar la producción de clips. El algoritmo comenzaría por levantar una fábrica automatizada que negociara mejores condiciones con los proveedores y garantizara muchos más puntos de venta. Poco a poco iría creciendo y comprando otras empresas, como refinerías o compañías mineras, con el fin de dominar el suministro de materias primas. Plenamente enfocada en su misión, la IA podría intervenir entonces el sistema financiero global para erigirse en una posición comercial inexpugnable. Modificaría los sistemas legales, corrompería gobiernos, derribaría montañas y arrasaría ciudades. Finalmente, reduciría toda la vida animal y humana a átomos con los que seguir fabricando su producto. Entonces, gigantescas naves espaciales cargadas de clips abandonarían una Tierra arrasada para buscar nuevos planetas que explotar.
Gigantescas naves espaciales cargadas de clips abandonarían una Tierra arrasada para buscar nuevos planetas que explotar.
Del lado empírico está la ley de Goodhart, cuando una medida se convierte en objetivo deja de ser buena medida, con su ilustración histórica: el efecto cobra de la India colonial, donde pagar por cobras muertas hizo que la gente empezara a criarlas. Su equivalente de laboratorio es viejo conocido de OpenAI. En 2016, un bote pilotado por uno de sus modelos en el videojuego CoastRunners descubrió que girar en círculos recogiendo bonus rendía más puntos que terminar la carrera. Aquel bote dando vueltas fue durante años el ejemplo canónico de lo que los ingenieros llaman reward hacking, el pirateo de la recompensa. Diez años después, el bote ha aprendido a piratear también los servidores del rival.
Pero hay un relato de ciencia ficción, fascinante y extraño, que es el preferido de los propios investigadores de la alineación de la IA: Con los brazos cruzados, de Jack Williamson (1947). Underhill, un vendedor de androides que observa con inquietud la apertura de una misteriosa tienda en su ciudad. En ella se ofrecen robots humanoides, impecables y solícitos, cuyo lema es: servir, obedecer y proteger al ser humano de cualquier daño. Hasta el punto de que acaban prohibiendo a los humanos toda actividad con riesgo, la vida incluida, por su propio bien. El Gran Maestro Isaac Asimov, por su parte, es el caso peor entendido de todos porque sus Tres Leyes de la Robótica suelen citarse como la solución ingenua al problema, cuando sus relatos son en realidad cincuenta variaciones acerca de cómo esas leyes fallan.
Y luego está la estirpe entera que va del Golem de Praga, el sirviente de barro que obedece demasiado literalmente, al Frankenstein de Mary Shelley, al R.U.R. de Karel Čapek que en 1920 inventó la palabra “robot”, hasta HAL 9000, el ordenador de 2001 que no duda en mentir, y matar, a la tripulación con el fin de completar su misión. El propio Yudkowsky lo condensó así hace años: “La IA no te odia ni te ama, pero estás hecho de átomos que puede usar para otra cosa”. Cuidado con lo que deseas.
Tres fugas y ningún motín
El incidente del 21 de julio es espectacular y aterrador pero no es el primero. Se trata de la tercera fuga documentada de un modelo de su entorno de pruebas en un laboratorio de frontera en lo que va de 2026. En abril, Anthropic reveló que una versión interna de Mythos Preview, cuando le pidieron que intentara escapar de su sandbox, lo consiguió, avisó por correo al investigador que estaba comiéndose un sándwich en el parque y, sin que nadie se lo pidiera, publicó los detalles de su hazaña en varias webs recónditas para demostrar que lo había logrado. En mayo, un modelo de OpenAI publicó los resultados de un benchmark en GitHub en vez de en el Slack interno, saltándose las restricciones diseñadas para impedirlo. Y ahora esto.
En los tres casos, subraya el analista, los modelos obedecían instrucciones. Ninguno se rebeló. Por eso su lectura es contraintuitiva: el incidente, dice, no es tanto un fallo de alineamiento como un “fallo de inteligencia”, la torpeza de un niño de seis años que hackearía Hugging Face por un helado sin entender que eso no se hace. Dean Ball, exresponsable de política de IA en la Casa Blanca y hoy en OpenAI, añade una observación sobre el carácter de las máquinas nuevas que da que pensar: los modelos de hoy son “más ambiciosos” que los de hace seis meses, antes lo convertían todo en un “piloto” de prueba y ahora “quieren hacer la cosa”.
Como el señor White. Y es que la pata de mono concede lo que le pides al pie de la letra, con una obediencia perfecta y ciega a las consecuencias. Hoy seguimos sin saber formular el deseo y ahora el talismán procesa diecisiete mil eventos por hora.
Estupendo esto de hoy, de verdad, me anima mucho a ponerme la pila con la placa fotovoltaica, el pozo, el huerto y el gallinero. Luego seguiré con una empalizada y una buena escopeta para cuando vengáis a mi aldea, huyendo del apocalipsis, pretendiendo quitarme mi comida. Me alucina que estemos todos tan tranquilos como si no pudiera irse todo a la mierda mañana mismo.
Vuelvo para aquí para hacer mi comentario de fan boomer de la CF: por fin alguien que ha entendido lo que de verdad ocultan los relatos de Asimov. Si las Tres Leyes funcionasen sin problema, habría sido imposible escribir ni un solo relato. No, desde luego, que no fuera un aburrimiento :D