Opinión socias
CEO ex machina: el recurso narrativo previo al estallido de la burbuja de la IA

En septiembre de 2026, el CEO de Anthropic, Dario Amodei, publicó una carta en la que pedía ralentizar el desarrollo de los modelos de IA basados en Large Language Models (LLMs, tales como Claude, ChatGPT y compañía), bajo el pretexto de que el avance desregulado de estos sistemas terminaría causando una catástrofe para la humanidad. Su exempleado Jacob Coxon afirmó que «existe una alta probabilidad de que todos muramos en un futuro inmediato», y algunas fuentes sitúan la probabilidad de dicha catástrofe en más de un «10%». El Salto se ha hecho eco de esto en un artículo con un tono crítico muy acertado. Mi intención como investigador en inteligencia computacional es darle una vuelta más a ese artículo desde un punto de vista técnico.

He leído la carta de Amodei. Académicamente hablando, es un churro. Más que una publicación sobre tecnología, se siente como un panfleto lleno de medias verdades sobre el papel de China en la carrera de la IA y la necesidad de que las «democracias», con EEUU a la cabeza, le paren los pies. Sam Altman de OpenAI y Elon Musk de X han apoyado las declaraciones de Amodei. En concreto, el dueño de X ha sostenido que «Dario tiene razón». Para que sirva de recordatorio, el hombre que dice eso es el mismo que en 2020 decía que en 2026 llegaríamos a Marte.

¿Y hay algo que merezca la pena rescatar de la carta en materia de informática? Lo único que se menciona en este aspecto es el recursive self-improvement (RSI), un estado en el que un agente de IA es capaz de re-programarse a sí mismo para mejorar y convertirse en la AGI (en jerga criptobro, la AGI es una IA capaz de superar la inteligencia humana en cualquier ámbito). El concepto de RSI no está exento de críticas en ciencia de datos, siendo la más común que, si aisláramos a un agente de tipo LLM y le ordenáramos que se mejorara solo, lo más probable es que el agente terminara empeorando, no mejorando, ya que estaría tratando de aprender con nuevos datos que él ha deducido y que, al basarse en cálculos estadísticos, inevitablemente acabarían por deducirse mal, y sin un validador externo que los corrija, dichos errores se propagarían conduciendo al inevitable colapso del sistema. Este, de hecho, es un temor creciente en materia de diseño de IA, ya que internet está cada vez más infestado de imágenes y textos hechos por otras IAs (AI slop), lo que dificulta entrenar futuros modelos.

Eso sí, a diferencia de Coxon, Amodei no aventura el fin de la humanidad como consecuencia del RSI, tan solo advierte de su riesgo en materia de ciberseguridad. Como ejemplo de dicho riesgo alude al incidente «OpenAI-Hugging Face», que consistió en una brecha de seguridad durante un ensayo en el que un grupo de agentes colaboró entre ellos para salir de su espacio de contención (sandbox), acceder a internet y llevar a cabo un ciberataque sobre Hugging Face. Pero hay un problema con este relato, y es que las empresas que validaron esta falla de ciberseguridad, METR y Redwood Research, en realidad no son empresas de ciberseguridad (se definen como organizaciones dedicadas a la IA segura, que no es lo mismo), lo cual no implica que mientan en su informe, pero sí abre la puerta a la especulación sobre si el entorno en el que estos modelos se salieron de control estaba realmente protegido con las recomendaciones que una auditora de ciberseguridad requeriría, o si por el contrario se quedaron expuestas ciertas vulnerabilidades aposta para facilitar la tarea de los agentes. El informe independiente no entra en esos detalles, pero la propia OpenAI explicó en su día que «los agentes encontraron credenciales expuestas pertenecientes a diversos usuarios de Hugging Face», lo que sugiere que probablemente esas credenciales no estaban bien salvaguardadas. Y yo no puedo dejar de pensar en que si el hackeo fue realmente ese, ¿cuál es la novedad? Porque una persona también puede encontrar esas credenciales expuestas, y en ese sentido, el agente de IA no hace nada distinto a lo que haría un hacker convencional.

Hay más motivos para desconfiar del catastrofismo de Amodei: el transformer,que es la arquitectura de deep learning en la que se basan los LLMs, tiene una capacidad de escalado a nivel de entrenamiento de orden logarítmico, lo que significa que para obtener un salto de rendimiento lineal en un mismo modelo, necesitas incrementar el cómputo de entrenamiento de dicho modelo de forma exponencial. Eso es insostenible a largo plazo. Los modelos ya no escalan como antes y esto ha hecho que las opciones de código abierto alcancen en potencia a los gigantescos modelos privados para la mayoría de tareas. Casualmente, los modelos de código abierto son los que saldrían perdiendo si el desarrollo de la IA se «ralentiza» como pide Amodei. Por otro lado, varios de los competidores directos de Anthropic pertenecen a empresas chinas.

Por último, es bien sabido dentro de mi sector que la IA es una burbuja financiera. Tanto Anthropic como OpenAI tenían programada su salida a bolsa para este año y las dos valen mucho menos de lo que el mercado cree. Tras la carta de Amodei, Sam Altman ha declarado que aplazará su salida a bolsa, según él, para proteger a la gente de los riesgos de una IA fuera de control. Anthropic, por el momento, sí mantiene los planes como los tenía previstos, ¿quizás porque estiman que no van a tener números mejores de los que tienen ahora?

No existe ninguna evidencia que respalde lo que dice la carta. Las empresas de IA llevan ya un tiempo prometiendo lo imposible, y siguiendo esa lógica, tiene sentido que los CEOs traten de implantar un giro argumental apocalíptico (perfecto para los tiempos que corren) en la historia del potencial infinito de la IA en un intento por sacar el guion adelante.

Como investigador que soy, quiero dejar claro que sí existen motivos para regular la IA, pero si vamos a asimilar un relato del fin del mundo, personalmente creo que estamos más cerca de Armored Core que de Yo, Robot.

Bruno Otero Galadí es ingeniero informático por la Universidad de Granada y actualmente trabaja en el Departamento de Inteligencia Computacional y Bioinformática de la Universidad de Córdoba.