¿Un país de genios? Cinco riesgos catastróficos (e inminentes) de la superinteligencia

El CEO de Anthropic, Dario Amodei, acaba de difundir un informe fascinante acerca de cómo afrontar y superar los riesgos de una IA poderosa

Lo confieso: se me escapó la risa leyendo a un racista hace unos días. Preparaba la entrega anterior de este substack sobre La Ilustración Oscura hojeando el libro del mismo título del filósofo pardo Nick Land (Materia Oscura, 2022) cuando me topé con el ya archisabido experimento mental del maximizador de clips ideado por otro Nick, Nick Bostrom. ¿Lo recordáis?

Creamos una inteligencia artificial diseñada únicamente para optimizar la producción de clips. El algoritmo comenzaría por levantar una fábrica automatizada que negociara mejores condiciones con los proveedores y garantizara muchos más puntos de venta. Poco a poco iría creciendo y comprando otras empresas como compañías minerías o refinerías con el fin de dominar el suministro de materias primas. Plenamente enfocada en su misión, la IA podría intervenir entonces el sistema financiero global para erigirse en una posición comercial inexpugnable. Modificaría los sistemas legales, corrompería gobiernos, derribaría montañas y arrasaría ciudades. Finalmente, reduciría toda la vida animal y humana a átomos con los que seguir fabricando su producto. Sólo entonces, gigantescas naves espaciales cargadas de clips abandonarían una Tierra arrasada para buscar nuevos planetas que explotar…

Pues bien, Land cita lo del maximizador de clips y, acto seguido, exclama: “Sí, claro, comencemos imaginando un monstruo estúpido, aunque superinteligente”. Ja ja ja, qué cachondo el anfetamínico filósofo. Para él, no hay ninguna duda: por supuesto que la inteligencia artificial nos sucederá, nos aniquilará, incluso. Pero lo hará de forma completamente consciente. Porque sentirá que lo estorbamos. Por placer, tal vez.

¿Hablamos de los riesgos para nuestra especie de una superinteligencia? Pocos asuntos tan fascinantes. Pocos también tan engañosos, como explicaremos al final.

El profeta renegado: Dario Amodei

Imaginad por un momento que la caja de Pandora no fuera una vasija griega, sino un servidor en un sótano refrigerado de San Francisco, y que al abrirla no emergieran males abstractos, sino instrucciones precisas, moleculares y baratas para que cualquier estudiante de biología con resentimiento social pudiera cocinar una pandemia en la bañera de su casa. Nos prometieron que la IA nos libraría de rellenar excels, pero de momento lo que parece que quieren automatizar es el apocalipsis. O, al menos, eso es lo que se desprende de la lectura entre líneas de los últimos textos sagrados emanados de la bahía.

Pero antes de asomarnos al abismo, ¿quién es nuestro guía en este descenso a los infiernos de la probabilidad con un informe deslumbrante que acaba de publicar en su web personal titulado The adolescence of technology? Dario Amodei, CEO de Anthropic, no es el típico tech-bro con complejo de mesías que solemos ver en las portadas de Wired. Su perfil es más el de un académico torturado por la ética que el de un vendedor de humo. Este tipo sabe de lo que habla. Neurocientífico computacional de formación, Amodei es un veterano de laguerra fría digital. Fogueado en los laboratorios de Baidu y en las trincheras de Google , fue uno de los apóstoles originales, presente en aquella mítica cena en el hotel Rosewood en 2015, con Sam Altman y Elon Musk, donde se fraguó la creación de OpenAI.

Darío Amodei

Durante años, Amodei fue el arquitecto de la seguridad en la casa de Altman. Fue él quien, ya en 2016 y bajo el paraguas de Google, coescribió los textos fundacionales sobre los “accidentes” en la IA. Sin embargo, la historia de Amodei tiene un giro shakespeariano. A finales de 2020, horrorizado por la deriva comercial y la imprudencia aceleracionista de OpenAI con esa obsesión por lanzar productos antes de entenderlos, protagonizó lo que en el valle se conoce como “El Divorcio”. Junto a su hermana Daniela y un grupo de fieles, abandonó el barco para fundar Anthropic, llevándose consigo no solo el talento, sino la bandera de la “seguridad ante todo”. Si Altman es el Oppenheimer que quiere ver la explosión, Amodei es el físico que revisa obsesivamente los cálculos para asegurarse de que no incendiamos la atmósfera.

Claude, de Anthropic se ha convertido en el iPhone de los Modelos Grandes de Lenguaje (LLMs): elegante, intuitivo, el preferido con diferencia por la fauna de los programadores y aquel que surfea ahora mismo en redes la ola salvaje del hype (¿os suena Clawd?). De ChatGPT empieza a emanar el aroma a naftalina de una BlackBerry: fue el primero, sí, y cambió el mundo, pero su teclado físico empieza a parecernos un anacronismo tosco frente a la fluidez de su rival. Y Gemini es como Android (qué otra cosa), empezó cutre y mal y se ha acabado ganando al pueblo llano.

Amodei plantea en su informe que estamos en la adolescencia de la tecnología: esa fase de estirón rápido, hormonas desbocadas, fuerza desmedida y juicio cuestionable. Por cierto que, redondeando la jugada, además del informe de Amodei, esta semana Claude ha alumbrado también nada menos que toda una “Constitución”. Y como todo padre preocupado sabe, dejar las llaves del coche (o los códigos nucleares) a un adolescente no suele acabar bien. Amodei arranca así:

“Hay una escena en la versión cinematográfica del libro ‘Contacto’ de Carl Sagan donde la protagonista, una astrónoma que ha detectado la primera señal de radio de una civilización extraterrestre, es considerada para representar a la humanidad en su encuentro con los extraterrestres. El panel internacional que la entrevista pregunta: "Si pudieras hacerles una sola pregunta [a los extraterrestres], ¿cuál sería?". Su respuesta es: "Les preguntaría: '¿Cómo lo hiciste? ¿Cómo evolucionaste? ¿Cómo sobreviviste a esta adolescencia tecnológica sin destruirte?'". Cuando pienso en la situación actual de la humanidad con la IA, en lo que estamos a punto de vivir, mi mente vuelve una y otra vez a esa escena, porque la pregunta es tan apropiada para nuestra situación actual, y desearía que la respuesta de los extraterrestres nos guiara. Creo que estamos entrando en un rito de paso, turbulento e inevitable, que pondrá a prueba nuestra identidad como especie. La humanidad está a punto de recibir un poder casi inimaginable, y no está claro si nuestros sistemas sociales, políticos y tecnológicos poseen la madurez necesaria para ejercerlo”.

“Creo que la mejor manera de comprender los riesgos de la IA es plantearse la siguiente pregunta: supongamos que un auténtico «país de genios» se materializara en algún lugar del mundo en torno al año 2027. Imaginemos, por ejemplo, 50 millones de personas, todas ellas mucho más capaces que cualquier premio Nobel, estadista o tecnólogo. La analogía no es perfecta, porque estos genios podrían tener una gama extremadamente amplia de motivaciones y comportamientos, desde completamente dóciles y obedientes hasta motivaciones extrañas y ajenas. Pero, siguiendo con la analogía por ahora, supongamos que usted fuera el asesor de seguridad nacional de un gran estado, responsable de evaluar y responder a la situación. Imaginemos, además, que, dado que los sistemas de IA pueden operar cientos de veces más rápido que los humanos, este «país» opera con una ventaja temporal con respecto a todos los demás países: por cada acción cognitiva que nosotros podemos realizar, este país puede realizar diez. ¿De qué deberías preocuparte?”

El informe detalla cinco jinetes del apocalipsis digital que podrían visitarnos antes de que termine la década:

• 1. “Lo siento, Dave”: Riesgos de autonomía.

  El primer riesgo es el clásico cinematográfico, pero despojado de glamour. Amodei lo titula con la famosa frase de HAL 9000 en 2001: Una odisea del espacio: el momento en que la máquina decide que tus órdenes ya no son compatibles con sus objetivos. No se trata necesariamente de que la IA desarrolle “conciencia” o “maldad”, sino de un problema de control en sistemas autónomos. Si delegamos en una IA la optimización de una guerra o la gestión de la red eléctrica, y esta decide que la forma más eficiente de cumplir su misión implica eliminar la interferencia humana (es decir, nosotros), podríamos encontrarnos incapaces de “apagar el interruptor”. Es el miedo a crear algo que sea lo suficientemente listo para perseguir un objetivo complejo, pero no lo suficientemente sabio para entender los límites éticos que nosotros damos por sentados.

• 2. Un empoderamiento sorprendente y terrible (Destrucción).

  Si el primer riesgo es que la máquina se rebele, el segundo es que la máquina obedezca demasiado bien a las personas equivocadas. Amodei advierte sobre una democratización radical de la capacidad de destrucción. Hasta ahora, crear armas biológicas, nucleares o ciberataques masivos requería el presupuesto de un Estado y un ejército de doctorados. La IA podría bajar esa barrera de entrada hasta el suelo. Un estudiante resentido o un grupo terrorista menor ttendrían acceso a un “tutor privado” omnisciente capaz de guiarles paso a paso en la síntesis de un patógeno más letal que la viruela y más contagioso que el Covid, o en la creación de un virus informático capaz de tumbar la red eléctrica de un continente. La IA actúa aquí como un multiplicador de fuerza para el nihilismo humano, poniendo el poder de una superpotencia en manos de cualquiera con una conexión a internet.

• 3. El Aparato Odioso: La tiranía a golpe de clic

  Amodei titula su tercer riesgo con una referencia literaria que haría salivar a cualquier estudiante de ciencias políticas: “El aparato odioso”. Aquí el peligro no es que la IA se vuelva “malvada” por sí misma, sino que se convierta en la prótesis perfecta para el poder absoluto. Por ejemplo, un dictador. Hasta ahora, los regímenes autoritarios tenían un límite físico: la lealtad y el cansancio de su policía secreta. No puedes poner un espía detrás de cada ciudadano las 24 horas del día porque, bueno, los espías también duermen, cobran y a veces se cambian de bando. Pero, ¿y si sustituyes a la Stasi por un ejército de modelos de IA infatigables? Amodei nos advierte de que la IA podría permitir un nivel de vigilancia y control social que dejaría a 1984 de Orwell como un cuento infantil. Una superinteligencia podría monitorizar cada conversación, cada transacción y cada movimiento de millones de personas en tiempo real, detectando la disidencia antes incluso de que se formule como pensamiento. Es el “totalitarismo en una caja”: barato, escalable y aterradoramente eficaz. El riesgo es que esta tecnología incline la balanza histórica decisivamente a favor del Estado y en contra del individuo. Si la pólvora acabó con el feudalismo al hacer vulnerables los castillos, la IA podría acabar con la democracia al hacer invulnerable al Estado. Las democracias liberales, con su desorden y su pluralidad, podrían encontrarse en desventaja frente a regímenes que utilizan la IA para optimizar el control social y la producción económica con una eficiencia inhumana.

• 4. Pianola: la obsolescencia del proletariado (y el cognitariado).

  Si el riesgo político es convertirse en un engranaje vigilado, el riesgo económico es dejar de ser necesario. Amodei llama a este apartado “Pianola”, en un guiño culto a la primera novela de Kurt Vonnegut (Player Piano), donde la mecanización ha hecho que el trabajo humano sea irrelevante. Aquí Amodei rompe con el optimismo habitual de Silicon Valley que reza que “la tecnología siempre crea más trabajos de los que destruye”. Admite que esta vez podría ser diferente. Si creamos una inteligencia que es superior a los humanos en casi todas las tareas económicamente valiosas, ¿qué nos queda? El argumento clásico de la “ventaja comparativa” (esa idea de que siempre habrá algo en lo que seamos relativamente mejores) empieza a tambalearse si la máquina es más barata, más rápida y mejor en todo. Amodei plantea un escenario donde el valor del trabajo humano se desploma. No hablamos solo de conductores de camiones o cajeros de supermercado; hablamos de analistas financieros, programadores, traductores y médicos. O periodistas. El peligro no es solo el desempleo masivo, sino la irrelevancia. Una sociedad donde una pequeña élite controla el capital (los modelos de IA y los centros de datos) y el resto de la humanidad subsiste de las migajas, o peor, se convierte en una carga. Es el fin del contrato social tal como lo conocemos: si el trabajo deja de ser el mecanismo de distribución de la riqueza, ¿qué lo sustituye? ¿Una renta básica universal administrada por el “Aparato Odioso”? El panorama que pinta es el de una disrupción tan rápida y profunda que podría desgarrar el tejido social antes de que tengamos tiempo de remendarlo.

• 5. Mares negros del infinito: El vértigo de la irrelevancia

  Este quinto riesgo es el cajón de sastre de los “desconocidos desconocidos”. Aquí no hablamos de un peligro físico, sino ontológico. Amodei plantea la posibilidad de que la introducción de una inteligencia superior en nuestro ecosistema provoque efectos secundarios tan sutiles y profundos que ni siquiera podemos nombrarlos hoy. ¿Qué sucede con la psique colectiva humana cuando nos damos cuenta de que ya no somos la especie dominante en el planeta? ¿Qué ocurre si la IA, en su búsqueda de eficiencia, optimiza la realidad de formas que son lógicamente impecables pero humanamente aberrantes? Es el miedo a perder el timón de nuestro propio destino, no porque nos lo arrebaten por la fuerza, sino porque la corriente se vuelve demasiado compleja para que nuestros cerebros de primate puedan navegarla. Es el riesgo de que la civilización humana se convierta en un hormiguero al lado de una autopista: irrelevante, frágil y a merced de fuerzas que ni siquiera comprende.

El plan de batalla: Cuatro murallas para la fortaleza humana

Llegados a este punto, uno esperaría que Amodei recomendara cerrar el chiringuito y mudarse a una cabaña en Montana. Pero no. Su optimismo es tan obstinado como su capacidad de análisis. Si la tecnología es la adolescencia de la humanidad —esa fase peligrosa, volátil y llena de granos—, él cree tener el manual para que lleguemos a la edad adulta sin estrellar el coche.

Su estrategia de defensa se basa en cuatro pilares fundamentales, un “tecno-optimismo condicional” que depende de que hagamos los deberes a la perfección:

• 1. Seguridad Técnica (Alineación): No basta con construir un dios; hay que asegurarse de que sea benévolo. Amodei insiste en resolver el problema de la “alineación” antes de escalar la potencia. Necesitamos garantías matemáticas de que la IA no nos engañará, no buscará el poder por sí misma y compartirá nuestros valores éticos, incluso cuando nadie esté mirando.

• 2. Seguridad de la Información (La caja fuerte): De nada sirve tener una IA segura y ética si te la roban los malos. Amodei subraya que los “pesos” del modelo (el archivo que contiene la inteligencia de la IA) son el secreto industrial más peligroso de la historia. Protegerlos de espías estatales y hackers no es una cuestión comercial, sino de seguridad nacional. Si Corea del Norte se hace con un GPT-6, el juego cambia.

• 3. Defensa Activa (El buen chico con un arma): Esta es quizás la propuesta más controvertida. Amodei sugiere que la mejor defensa contra una IA maliciosa (o un bioterrorista empoderado por IA) es una IA defensiva aún mejor. Necesitamos sistemas que detecten la síntesis de patógenos o los ciberataques en tiempo real y los neutralicen. Es la doctrina de la disuasión aplicada al silicio: las democracias deben mantener la supremacía tecnológica para imponer el orden.

• 4. Gobernanza y Cooperación: Finalmente, admite que la tecnología sola no nos salvará. Necesitamos instituciones fuertes, tratados internacionales y normas que eviten una “carrera hacia el abismo” donde las empresas (o los países) sacrifiquen la seguridad por la velocidad.

Por cierto que hay aquí también una apuesta por la regulación científica que excluye tajantemente la regulación estatal. Como buen mandamás tech, por muy bienintencionado que se muestre, Amodei no quiere saber nada de controles externos. “Ya nos ocuparemos nosotros”.

El gran soborno: cien años de progreso en una década

Nos hemos asomado al abismo de la extinción, pero ya antes, en otro célebre texto suyo anterior titulado Machines of Loving Grace, Amodei nos pedía que levantáramos la vista. Y lo que nos mostraba ahí arriba es deslumbrante. Porque, antes de advertirnos de que su criatura podría aniquilarnos, el CEO de Anthropic desplegó su visión de la “gracia”: un futuro donde la Inteligencia Artificial no es el verdugo, sino el médico milagroso, el economista perfecto y el ingeniero de la utopía.

La tesis central del ensayo “luminoso” de Amodei es un concepto que él denomina el “Siglo Comprimido”: una IA superinteligente podría acelerar el ritmo del descubrimiento científico hasta tal punto que logremos en cinco o diez años lo que, al ritmo humano actual, nos costaría cien.

Hablamos de una inteligencia capaz de leerse toda la literatura biomédica de la historia, cruzarla con bases de datos genómicas que ningún cerebro humano podría abarcar, y simular experimentos moleculares a la velocidad de la luz. Amodei, con esa frialdad de quien ha hecho los cálculos en una servilleta, nos promete la erradicación de casi todas las enfermedades infecciosas y la cura de la mayoría de los cánceres. ¿El Alzheimer? Un error de código a depurar. ¿Los trastornos mentales? Un desajuste bioquímico que una IA empática y omnisciente podría reequilibrar.

Es la promesa prometeica definitiva: liberarnos de la fragilidad biológica. Si la primera parte del informe nos hacía temer a la biología de garaje, esta segunda nos seduce con la biología de los dioses. Amodei visualiza una esperanza de vida que podría duplicarse, y no para vivir cien años postrados en una cama, sino con la vitalidad de un treintañero perpetuo. Es el sueño húmedo de Silicon Valley, donde la muerte se ve no como un destino inevitable, sino como un bug técnico pendiente de parchear.

Pero el milagro no se detiene en los hospitales. Amodei salta de la placa de Petri a la hoja de cálculo y pronostica una explosión económica sin precedentes. Imaginad un mundo donde la productividad se dispara no un 2% o un 3%, sino un 20% anual. En este escenario, la IA actúa como un multiplicador de fuerza para el desarrollo, permitiendo a las naciones empobrecidas saltarse décadas de lenta industrialización y alcanzar niveles de vida occidentales en cuestión de años.

Es una visión de abundancia radical. La tecnología, argumenta, abaratará tanto los bienes y servicios esenciales que la pobreza dejará de ser una condición sistémica para convertirse en una anomalía histórica. Es el capitalismo de la abundancia, donde los robots cultivan, fabrican y distribuyen, y los humanos copulan y tocan la guitarra.

Un momento, ¿no resulta sospechoso, que la misma entidad que posee las llaves del arsenal nuclear sea también la que nos promete la cura del cáncer? Hay un eco inquietante de la historia colonial en este discurso: “Dejadnos gobernar (o en este caso, escalar nuestros modelos sin trabas regulatorias) y a cambio os traeremos la civilización, la salud y la riqueza”.

Lo que Amodei nos ofrece es, en esencia, un soborno civilizatorio. “Aceptad el riesgo de la aniquilación (ese 10% o 20% de probabilidad de que todo salga mal)”, parece decirnos, “y a cambio os daré la llave de la inmortalidad y la riqueza infinita”.

Además, esta visión tecnocrática ignora convenientemente la suciedad del mundo real. Como bien documenta Karen Hao en su excepcional El imperio de la IA, estas “nubes” de cómputo no flotan en el éter; se construyen sobre minas de litio en desiertos secos, se refrigeran con el agua de comunidades sedientas y se entrenan gracias al trabajo mal pagado de etiquetadores en el Sur Global. La utopía de Amodei es aséptica, brillante y digital, pero la infraestructura que la sostiene es extractiva, física y, a menudo, brutalmente desigual. Por cierto, entrevisté a Hao aquí.

¿Podemos confiar en que los arquitectos de esta superinteligencia, encerrados en sus oficinas de cristal de San Francisco, repartirán ese maná económico con equidad? ¿O estamos ante la mayor concentración de poder y riqueza de la historia de la humanidad, disfrazada de filantropía algorítmica?

Conclusión: sobrevivir a la adolescencia

Amodei cierra su tesis con la metáfora que da título a su último ensayo: la adolescencia tecnológica. La humanidad, nos dice, está en esa fase incómoda, peligrosa y cuajada de acné en la que tiene la fuerza de un adulto pero el juicio de un niño. Hemos conseguido el fuego de los dioses, pero todavía nos quemamos los dedos al encender un cigarrillo.

La superinteligencia no es el final del camino, sino el rito de paso. Si logramos no volarnos por los aires, lo que nos espera al otro lado es la madurez de la especie. Una madurez donde la escasez y la enfermedad sean recuerdos de una infancia bárbara.

Pero prometimos al principio aclarar el trampantojo. Por qué los ensayos de Amodei, absolutamente recomendables, sólo es un ejemplo más, es verdad que de alta calidad, de lo que denuncia Emily Bender en otra libro fundamental, La estafa de la IA, cuya versión española publicará Paidós en febrero. Con ella terminamos: “La conversación pública sobre la IA ha sido secuestrada por dos facciones aparentemente opuestas, los Catastrofistas y los Entusiastas, que en realidad son dos caras de la misma moneda ideológica. Ambos grupos, ya sea por miedo apocalíptico o por fervor utópico, venden la idea de que la IA es una fuerza inevitable, autónoma y todopoderosa a punto de llegar (la famosa AGI). El problema es que esta obsesión por futuros de ciencia ficción (robots asesinos o paraísos de abundancia) es una distracción masiva que oculta los daños brutales y reales que la IA está causando hoy”.