Inteligencia artificial
Más allá de Fausto y del “hype”

“Pero mientras que en el mundo antiguo la máquina puede ser todavía un símbolo de unidad con la naturaleza, o el producto de un ingenio fuera de lo común (como los autómatas autopropulsados de Herón de Alejandría), con la llegada de la civilización industrial y la modernidad esa laceración entre el hombre y la naturaleza, que ya se expresaba en el mito pero conservaba una esperanza de recomposición, es ahora irremediable.”

Antonio Caronia, Robots entre el sueño y el trabajo, 1991.

“Desde este punto de vista, el conocimiento puede describirse como un organismo vivo [...] Y mientras vive, vive de y en las interpretaciones de los actores que interactúan con él: ya sean las personas que utilizan este conocimiento para sus vidas o para sacar más provecho de él, ya sean las entidades computacionales que recopilan este conocimiento por algún motivo, ya sea para hacerlo accesible de algún modo mediante un motor de búsqueda, ya sea para intentar procesarlo con los procesos de la inteligencia artificial.”

Salvatore Iaconesi, La espiral del conocimiento, 2020.

En su publicación Futuredays - A Nineteeth century vision of the year 2000, el escritor de ciencia ficción Isaac Asimov dio cuenta en 1986 de una serie de 25 viñetas de finales del siglo anterior publicadas en 1910, En l'an 2000, en las que el ilustrador francés Villemard plasmaba las predicciones y fantasías de la época sobre la tecnología y sus aplicaciones 100 años después. Las diversas postales muestran medios de transporte futuristas y máquinas de diversos tipos capaces de sustituir el trabajo humano y manual. Llaman la atención principalmente dos cosas: una, por supuesto, es el obvio significado utópico y positivo de la presencia de máquinas ocupando el lugar de los seres humanos en las tareas cotidianas; la otra es la representación mecánica de los aparatos de forma que se asemejen a la estructura orgánica a la que sustituyen. Así, por ejemplo, una herramienta para cortar el pelo tiene brazos y manos mecánicos con los que agarra unas tijeras y un peine, una herramienta doméstica automática para limpiar los suelos consiste en un soporte con ruedas que empuña una escoba y un recogedor, mientras que para transferir conocimientos a las cabezas de los alumnos una escuela tiene una máquina que literalmente ingiere los libros convirtiéndolos y envía las nociones a los niños a través de cables conectados a sus cabezas.

Por otra parte, en muchos casos, la ciencia ha tratado de obtener tecnologías capaces de simular las facultades humanas intentando reproducir fielmente sus estructuras subyacentes. Pero, cuanto más se relaciona la facultad implicada con la esfera cognitiva, más corremos el riesgo de que este enfoque nos lleve por una vía falsa, además de crear confusión y malentendidos en el uso de estas tecnologías. Cuando decimos que una máquina -ya sea una Olivetti Studio 44, un Mac o un smartphone- escribe, desde luego no pensamos que tenga manos de bolígrafo y cuaderno, del mismo modo que las máquinas voladoras no necesitan alas. La analogía entre la escritura humana y la maquínica alcanza, pues, un cierto nivel de profundidad, cuyo límite resulta evidente. Sin embargo, en el momento en que decimos que una máquina piensa, o incluso que lo hace gracias a redes neuronales y neuronas artificiales, aumenta la confusión, y ya no somos capaces de entender exactamente qué significa que piensa, en qué medida su pensamiento se parece al humano, o hasta dónde puede llegar en la simulación de nuestro pensamiento.

El término Inteligencia Artificial abarca en realidad un abanico muy amplio de técnicas y métodos. Productos como Midjourney, ChatGPT y similares han introducido los llamados “modelos generativos” entre el gran público, suscitando con razón un enorme debate, y han mostrado de forma aún incipiente el impacto de estas tecnologías en la sociedad. Intentaré aquí, entretanto, arrojar luz sobre la naturaleza y estructura de estas herramientas, y analizar brevemente el papel que están asumiendo en un mundo en constante aceleración, más allá del “hype”.

Loros estocásticos y dónde encontrarlos

Las especificaciones técnicas de formación de ChatGPT no son ahora mismo de dominio público, pero debemos pensar en un modelo lingüístico como un mecanismo para componer frases, en el que se parte de textos previos, pero las referencias precisas se desvanecen.

En su célebre artículo On the Dangers of Stochastic Parrots: ¿Pueden ser demasiado grandes los modelos lingüísticos?, un grupo de investigadores estadounidenses dio la voz de alarma sobre los riesgos y puntos críticos del uso de los llamados Large Language Models (LLM), modelos lingüísticos como ChatGPT y sus derivados. Como bien señalan, estas tecnologías no son capaces de comprender un texto, sino de procesar en cascada una serie de palabras a partir de otras anteriores, de acuerdo con una determinada estructura y coherencia. Son, por utilizar la analogía del artículo, loros estocásticos, que asignan una cierta probabilidad a los términos que escriben. Hacer esta aclaración es útil para reducir el bombo asociado a estas tecnologías, evitando así malentendidos sobre su uso. También en esta interpretación se pueden señalar directrices útiles para la investigación. Así que llegamos a la pregunta: ¿qué puede y qué no puede hacer ChatGPT? En los últimos meses mucha gente ha estado probando, estudiando y experimentando con sus capacidades. Las especificaciones técnicas de formación de ChatGPT no son ahora mismo de dominio público, pero debemos pensar en un modelo lingüístico como un mecanismo para componer frases, en el que se parte de textos previos, pero las referencias precisas se desvanecen.

El escritor de ciencia ficción Ted Chiang escribió en febrero de 2023 en “The New Yorker” uno de los mejores artículos que se han publicado sobre el tema de la IA: ChatGPT Is a Blurry JPEG of the Web. Chiang comienza relatando cómo en 2013 una empresa alemana de fotocopias se dio cuenta de que una de sus máquinas, al copiar un plano con valores de metros cuadrados (como 14, 13, 21, 11, 17, 42), siempre insertaba el mismo número (14, 13) en la copia final. Se dieron cuenta de que esto se debía al método de compresión, que, para ahorrar memoria, asociaba todos los números al mismo símbolo y luego los repetía allí donde estaban presentes. La fotocopia era una réplica borrosa del original. Lo mismo ocurre con ChatGPT: es una copia borrosa de toda la web. Hacer pasar un LLM por un sustituto de un motor de búsqueda (como proponen Microsoft con Bing y Google con Bard) es erróneo y peligroso, porque buscar referencias no es la tarea para la que está entrenado. Por supuesto, también hay servicios que, además de la respuesta textual, proporcionan los enlaces utilizados para construir la respuesta, pero en ese punto también podríamos utilizar un motor de búsqueda. ¿En qué destaca entonces un modelo lingüístico? En lo que se refiere específicamente a la lengua: traducciones, resúmenes y reformulaciones. Éstas son las actividades en las que se entrena, aunque evidentemente puede mostrar inversiones de sentido en casos particulares.

Hay otro hecho que me ha intrigado en los últimos meses: las personas sin formación en informática se han sorprendido enormemente al ver la capacidad de ChatGPT para producir código como algoritmos para realizar una tarea determinada o para producir sitios web. Personalmente, entre las diversas características del producto, es la que menos me ha sorprendido: para un humano escribir código puede parecer una operación compleja porque requiere habilidades específicas, pero un código que realiza una determinada operación casi siempre se escribe de la misma manera, y la Web está llena de escritos de este tipo. Al fin y al cabo, es bien sabido que desde hace tiempo existen foros y sitios web, como por ejemplo la enorme comunidad de Stack Overflow, donde los usuarios comparten códigos para operaciones específicas. Por supuesto, esto es cierto para tareas sencillas y, de hecho, es fácil comprobar que, si ChatGPT produce códigos más complejos, éstos suelen contener pequeños errores que siguen haciendo imprescindible la labor de control humano.

Si ChatGPT existe, es porque ha sido capaz de apoyarse en una cantidad exorbitante de información recopilada y construida por cada uno de nosotros en la Red (además del trabajo de ejércitos de “limpiadoras” mal pagadas), haciéndola accesible a través de una interfaz.

Otro elemento fundamental de la cuestión es que, si ChatGPT existe, es porque ha sido capaz de apoyarse en una cantidad exorbitante de información recopilada y construida por cada uno de nosotros en la Red (además del trabajo de ejércitos de “limpiadoras” mal pagadas), haciéndola accesible a través de una interfaz. Existe, pues, gracias al trabajo colectivo y distribuido en red. Con un poco de ironía, pero tampoco demasiada, me inclinaría a decir que la inteligencia general artificial ya existía y nació el 6 de agosto de 1991, cuando se decidió crear una infraestructura para recoger y contener en los años venideros la mayor colección de conocimientos humanos. Comparado con este salto, ChatGPT (y los LLM en general) no es más que una pequeña pieza añadida.

Trabajo, derechos de autor y todo lo viejo que no muere

Con la llegada de ChatGPT y compañía también han surgido dudas y temores sobre el futuro impacto de estas tecnologías en la vida pública. Según el estudio del Foro Económico Mundial, The Future of Jobs Report 2023, tres cuartas partes de las principales empresas del mundo esperan adoptar la IA en su organización, y el 50% cree que estimulará el crecimiento del empleo, mientras que sólo el 25% afirma que se perderán puestos de trabajo en diferentes campos como la sanidad, la fabricación, la agricultura y la contratación. Ahora habría que preguntarse a qué tecnologías concretas nos referimos cuando hablamos de inteligencia artificial. En lo que respecta al LLMS, una vez más, para entender lo que es y lo que podrá ser sólo tenemos que retomar el debate sobre lo que estas tecnologías pueden y no pueden hacer. Ciertamente, ChatGPT es una herramienta que reducirá drásticamente una tarea de traducción, especialmente una que no requiera especial atención estilística. Es probable que también esté ya reduciendo la mano de obra necesaria en una redacción. Al mismo tiempo, sin embargo, ni siquiera estas tareas humanas serán completamente sustituibles, porque siempre será necesaria una figura humana que compruebe la corrección del resultado o asesore en el caso de opciones de traducción específicas.

El escenario que parece perfilarse es el definido como “human in the loop”, es decir, un proceso en el que una figura humana está presente como supervisora de las actividades de una IA.

Aun así, ChatGPT podría ser útil en la redacción de un medio de noticias basura, donde la tarea de los empleados consiste en tomar textos de las agencias de noticias y reformular un poco el contenido para publicar así 10 artículos por hora. En definitiva, seguramente ChatGPT podrá ahorrar tiempo en el caso de trabajos repetitivos y poco refinados que tienen que ver, precisamente, con la manipulación del lenguaje. El escenario que parece perfilarse es el definido como “human in the loop”, es decir, un proceso en el que una figura humana está presente como supervisora de las actividades de una IA, y cuanto más aumenten los requisitos de conocimiento de la profesión, más central será la figura supervisora y menos peligrará el puesto de trabajo. Podemos decir, también con un poco de incitación, que la sustitución laboral por IA es un indicador del nivel de mierda (la bullshitness) de los puestos de trabajo, o de tareas laborales específicas.

También hay que recordar, para no caer en el mito de la IA abstracta y etérea, que en el proceso de producción de ChatGPT intervienen no sólo controladores con cualificaciones especiales, sino también el ejército de trabajadores y trabajadoras de Kenia, Uganda e India que son explotados a 1,50 euros la hora para etiquetar discursos de odio, expresiones de violencia sexual y otro material explícito para “arreglar la máquina”. Esto no es nada nuevo, como ya sabemos por documentales como The cleaners o estudios sobre la mano de obra oculta de plataformas en el llamado fenómeno Mechanical Turk (como los analizados por ejemplo por Antonio Casilli o Matteo Pasquinelli).

Otro gran tema muy debatido en los últimos meses se refiere al uso de material encontrado en Internet para entrenar algoritmos de aprendizaje automático y, por tanto, a la regulación de las relaciones, económicas y de otro tipo, entre quienes produjeron ese material y los propietarios del algoritmo. Artistas, programadoras y creadores de contenidos de diversa índole se han manifestado en los últimos meses contra el uso indebido de sus obras por parte de las IA. Por mucho que estas acciones representen reivindicaciones de protección de formas de trabajo en peligro, creo que cualquier batalla por la defensa o el retorno de una remuneración basada en la autoría está ya perdida ante la evidencia de los mecanismos de producción de conocimiento.

Con el advenimiento de lo digital y, por tanto, de la virtualización de un producto de trabajo desligado de un soporte específico, estaba claro que la atribución autorial avanzaba hacia su imposibilidad. Incluso los intentos reformistas relacionados con el código abierto y la galaxia Creative Commons plantean muchas limitaciones: por mucho que uno pueda poner una pegatina de “Prohibido el uso comercial” en un repositorio de Github, una vez que un desarrollo de software o una idea de algoritmo está circulando, y por tanto puede volver a implementarse, en ese u otro lenguaje, la autoría se ha desvanecido, y sólo con los ojos cerrados podemos ver cómo el mundo empresarial y corporativo ha explotado en los últimos años el vasto conocimiento de código abierto como un yacimiento minero gratuito.

Las luchas y reivindicaciones por la protección del trabajo cognitivo son fundamentales, pero adquieren un valor estratégico cuando se consideran en el camino hacia una política de renta universal desvinculada del trabajo (junto con la petición de alta fiscalidad a las grandes corporaciones tecnológicas).

La IA es sólo un paso más en esta dirección: los datos pueden ser reestructurados, reformulados, utilizados como entrenamiento para construir un producto. Las luchas y reivindicaciones por la protección del trabajo cognitivo son fundamentales, pero adquieren un valor estratégico cuando se consideran en el camino hacia una política de renta universal desvinculada del trabajo (junto con la petición de alta fiscalidad a las grandes corporaciones tecnológicas), y el escenario de las nuevas tecnologías ofrece a este camino una oportunidad de espacio en el debate público que no debe dejarse escapar. Además, de experiencias como el caso italiano de GKN y los nuevos proyectos en el entorno tech surge la sugerencia de que podría ser interesante empezar a discutir y entender, entre los trabajadores de la información y el desarrollo tecnológico, si es posible y cómo sería posible, además de la recuperación de los derechos laborales, el rediseñar la producción y, por qué no, también redefinir los propósitos y direcciones del desarrollo de la inteligencia artificial desde abajo, en una perspectiva de bienestar, servicios comunitarios útiles y reconversión ecológica.

Técnica y magia: animismo de plataforma y giro lingüístico 2.0

En el relato corto de Fredric Brown, La respuesta, el protagonista Dwar Ev desarrolla un superordenador que, conectando todas las calculadoras de los noventa y seis mil millones de planetas del universo, podría encapsular todo el conocimiento del universo en una sola máquina. Tras soldar los dos últimos cables, Dwar baja la palanca, activa la creación y le hace una primera pregunta: “¿Existe Dios?”. Sin dudarlo, la máquina responde: “Sí: ahora Dios existe”. Presa del terror y arrepentido de su creación, Dwar intenta arrojarse sobre el panel de control para apagar la máquina, pero un rayo caído del cielo lo incinera, clavando la palanca para siempre en su sitio.

A finales de marzo de 2023 se publicó en el sitio web del Future of Life Institute una carta firmada por empresarios, autores y expertos del sector, entre ellos Elon Musk, Yoshua Bengio, Steve Wozniak y Noah Harari, en la que se pedía la suspensión durante al menos seis meses de la investigación avanzada en el campo de la inteligencia artificial, con el fin de permitir que el entorno legislativo se ajuste a la regulación de estas tecnologías, al tiempo que el desarrollo debe garantizar la transparencia y la rendición de cuentas. La carta esconde de manera no demasiado disimulada el verdadero propósito: generar expectación. “Mírennos, somos los Victor Frankensteins del siglo XXI, el Dr. Fausto que vendió su alma al Nuevo Mefistófeles”, es la paráfrasis de la carta.

No por casualidad, el lenguaje de la carta recoge un conjunto de ideologías que se están asentando entre las altas esferas de Silicon Valley, expresadas por un acrónimo cada vez más popular: TESCREAL (Transhumanismo, Extropianismo, Singularitarismo, Cosmismo, Racionalismo, Altruismo Eficaz y Largoplacismo). Término acuñado críticamente por Timnit Gebru (antigua empleada de Google y autora del artículo sobre loros estocásticos mencionado anteriormente), en tres años los líderes de la alta tecnología se han apropiado de la palabra, como el empresario Marc Andreessen, que se autodenomina “TESCREALista” (además de “aceleracionista de la IA”, “supremacista de la GPU” y “activista ciberpunk”) en su biografía de Twitter.

Los términos del acrónimo hacen referencia a una serie de filosofías y corrientes que han surgido en torno al transhumanismo y sus declinaciones: profundo entusiasmo por la tecnología como medio para superar los límites del ser humano (enfermedad, envejecimiento y muerte), carrera hacia el espacio, realización de una IA fuerte como misiones de la humanidad, empleo del desarrollo y la racionalidad para trascender la condición material y corporal, y luego búsqueda de la condición divina a través de la tecnología. Alguien se refirió con acierto al concepto de animismo para describir la concepción que la idea de inteligencia artificial está adquiriendo en estos círculos. En un tuit de Sam Altman, (quizá ex) CEO de OpenAI (la empresa de ChatGPT) sugería como uso de su producto la sustitución de la asistencia sanitaria para quienes no pueden permitírsela. Más allá del clasismo grosero de tal afirmación, está claro que la comunicación de estos gigantes apunta un entusiasmo completamente desligado de la realidad. Y de poco sirve recriminar al usuario medio que no haga un buen uso de las tecnologías si tales mensajes vienen de lo alto.

En febrero de 2023 se presentó Bard, el chatbot de IA con el que Google prometió socavar el ChatGPT de OpenAI. Pero a las pocas horas del evento de presentación, en un vídeo promocional, el asistente de Mountain View dio una respuesta incorrecta a la pregunta planteada, afirmando que el telescopio espacial James Webb serviría para tomar las primeras fotos de la historia de un planeta situado fuera del sistema solar (exoplaneta), cuando los primeros exoplanetas fueron fotografiados gracias a telescopios terrestres 14 años antes del lanzamiento de James Webb. Un olvido que no ha pasado desapercibido ni ha sido perdonado, especialmente por el mundo financiero. El miércoles 8 de febrero, las acciones de Alphabet cerraron con un descenso de casi el 8%, lo que supone una pérdida de 100.000 millones de dólares respecto a su valor de mercado. Y da la casualidad de que el error se refería a conocimientos específicos y no a un error en la composición del lenguaje, que es para lo que fue entrenado. Los gigantes de Silicon Valley, en resumen, fueron víctimas de su propia exageración.

Ya estábamos acostumbrados al poder del lenguaje en las finanzas, como puede ser el caso del one-liner de un consejero delegado, pero pensar que ahora este poder lingüístico también recae en las máquinas deja al menos una sensación de inquietud. Me viene a la mente la escena de Douglas Adams en su Guía Intergaláctica, cuando después de siete millones y medio de años una multitud de curiosos espera ansiosamente que el Pensamiento Profundo ofrezca la respuesta a la pregunta fundamental sobre la vida y el universo. Christian Marazzi escribió en su El lugar de los calcetines: “Cuando decimos que, con el posfordismo, la comunicación entra en la producción, se convierte en un factor directamente productivo, estamos poniendo en cuestión el lenguaje, que, por su propia vocación, se encuentra en la base de la comunicación. La coincidencia del acto de producir y del acto de comunicar en el nuevo paradigma de producción abre un abanico de problemas de análisis del lenguaje tan fascinantes como extremadamente complejos y densos.”

Con el capitalismo avanzado de la inteligencia artificial asistimos a un giro lingüístico 2.0, en el que el lenguaje adquiere un papel productivo aún más central. Es una especie de capitalismo mágico, donde el lenguaje y sus fórmulas dictadas por oráculos son capaces de actuar cada vez más sobre lo real.

Con el capitalismo avanzado de la inteligencia artificial asistimos a un giro lingüístico 2.0, en el que el lenguaje adquiere un papel productivo aún más central. Es una especie de capitalismo mágico, donde el lenguaje y sus fórmulas dictadas por oráculos son capaces de actuar cada vez más sobre lo real. Una magia que se autoproclama abstracta e inmaterial, pero que sabemos que se encarna en procesos sociales y materiales, ligadas a los caprichos de Silicon Valley y las altas finanzas. El reto es desencantar la tecnología, liberándola de los imaginarios tescrealistas y construyendo otros más allá del antropocentrismo y las ambiciones extractivistas.

Abrir las cajas negras

A principios de 1949, en los laboratorios del Barnwood House Mental Hospital, un manicomio privado situado en las afueras de Gloucester, se encontró un misterioso dispositivo negro cuadrado compuesto por cuatro acumuladores, cada uno de ellos dotado de un imán capaz de oscilar entre distintas configuraciones. Como se informaba en un artículo de Time de la época, según su creador, el psiquiatra William Ross Ashby, este dispositivo, el llamado homeostato, era lo más parecido a la realización de un cerebro humano artificial jamás diseñado por el hombre hasta el momento. Ashby, además de médico, fue uno de los pioneros y divulgadores de la cibernética, que más que una disciplina podría considerarse un conjunto de estudios experimentales interdisciplinares a caballo entre la ingeniería, la biología y las ciencias sociales. Su origen puede rastrearse libremente en el pasado dependiendo de qué raíces del pensamiento sistémico se decida considerar, pero lo cierto es que en la inmediata posguerra el nombre de esta nueva ciencia fue introducido y popularizado por los trabajos de Norbert Wiener, que publicó en 1948 su Cybernetics or Control and Communication in the Animal and the Machine.

Las intenciones del matemático estadounidense, expresadas en el título de la obra, eran fundar una nueva ciencia capaz de abordar los problemas de regulación de los sistemas naturales y artificiales encontrando similitudes y afinidades entre ellos, hibridando métodos de las ciencias sociales y biológicas con teorías de computación y control automático. Los mismos principios inspiraron entonces a Ashby, que anotó sus pensamientos durante más de 44 años en una serie de diarios que produjeron 25 volúmenes, con un total de 7189 páginas, ahora confiados a la Biblioteca Británica. Y fue precisamente para dar un ejemplo de máquina autorregulada que Ashby construyó el homeostato. Su estado podía alterarse mediante órdenes o intervenciones que representaban el entorno exterior, y, en condiciones particulares, el sistema era capaz de volver por sí mismo a un estado de equilibrio. Por difícil que resulte imaginarlo ahora, semejante diseño estaba absolutamente en consonancia con los objetivos de las nacientes ramas de la automatización, hasta el punto de que el propio Turing, conocedor de la intención de Ashby, le escribió proponiéndole simular este mecanismo en la calculadora que estaba diseñando cerca de Londres.

Pero lo que nos interesa de la compleja máquina de Ashby para poder encontrar una clave de los desarrollos en automatización a seguir hasta nuestros años es el enfoque con el que se realizó el homeostato al querer simular un sistema vivo. El modelo propuesto por Ashby es lo que más tarde se denominó teoría de la caja negra o método de la caja negra, sobre el que los propios cibernéticos iniciaron un acalorado debate que aún hoy podemos mantener abierto. El propio Ashby escribió en los años 50 que “lo que se argumenta no es que las cajas negras se comporten en modo alguno como objetos reales, sino que los objetos reales son de hecho todos cajas negras, y que tratamos con cajas negras a lo largo de nuestras vidas”, sugiriendo esencialmente una ontología de la caja negra. El papel de la caja negra en la ciencia es un dilema que llega, re-explotando, en el siglo XXI. Es el propio Latour, en Pandora's Hope, de 2001, quien habla de la caja negra como “la forma en que el trabajo científico y técnico se hace invisible por su propio éxito. Cuando una máquina funciona eficazmente, uno sólo se fija en la entrada y la salida, y no en la complejidad interna. Esto hace que, paradójicamente, cuanto más éxito tienen la ciencia y la tecnología, más opacas y oscuras se vuelven”.

La ciencia resulta cada vez más opaca, no por falta de información o de inteligencia, sino por su deriva microdisciplinar cada vez más fragmentada, hacia una hiperespecialización incapaz de comunicarse con el resto del mundo.

Dando otro salto de años y llegando a tiempos muy recientes, no es casualidad que la preocupación por la ciencia opaca haya aparecido en el campo de la inteligencia artificial, donde ha surgido la necesidad de comprender las razones de una elección automatizada frente a otra, o los parámetros de clasificación de los que hace uso. Esto ha llevado a la investigación a desarrollar, por ejemplo, la llamada rama de la Inteligencia Artificial Explicable (XAI). Sin embargo, el problema de la caja negra no es simplemente una cuestión técnica, sino algo que afecta cada vez más a las esferas social, económica y cultural. En este sentido, implica el estudio de los efectos de la IA en un sistema sociotécnico complejo. Esto apunta más allá de la IA, hacia la inteligencia computacional distribuida, la compuesta por una red de calculadoras, dispositivos IoT, cuerpos hiperconectados en movimiento y en constante producción. Un ejemplo de este tipo de sistema es el sistema financiero. La máquina financiera se está convirtiendo en un organismo sombrío, lleno de sutilezas metafísicas y caprichos teológicos, tan complejo que apenas lo entienden los chamanes de palacio, demasiado ocupados ahora luchando contra esos demonios algorítmicos de alta frecuencia que ellos mismos conjuraron hace eones, y de los que ahora han perdido el control. La ciencia resulta cada vez más opaca, no por falta de información o de inteligencia, sino por su deriva microdisciplinar cada vez más fragmentada, hacia una hiperespecialización incapaz de comunicarse con el resto del mundo. Podemos, entonces, hablar de sociedades de caja negra, como sugiere Frank Pasquale, y tratar de hacer consideraciones parciales sobre esos hiperobjetos que rigen nuestras vidas en el límite de la comprensión, en lo que Bridle, citando al maestro del horror Lovecraft, considera una nueva edad oscura.

No sólo es necesaria la interdisciplinariedad, sino también una crítica de los procesos de producción capaz de reconocer la dinámica del valor, el trabajo y el impacto en el medio ambiente de los sistemas abiertos.

Volviendo a Latour, y al texto que escribió con Steve Woolgar, Laboratory Life, “la actividad de construir cajas negras, de hacer objetos de conocimiento distintos de las circunstancias de su creación, es exactamente lo que ocupa a los científicos la mayor parte del tiempo. [...] Una vez procesado un objeto de estudio en el laboratorio, es muy difícil volver a convertirlo en un objeto sociológico. El coste en la detección de factores sociales es un reflejo de la importancia de la actividad de la caja negra”. Abrir la caja negra, por tanto, no es sólo tarea de expertos o técnicos del mismo modo que, volviendo a Bridle, aunque pueda ser útil no es necesario aprender programación para acercarse al debate sobre las nuevas tecnologías. Al contrario, lo que está surgiendo de nuevas líneas de investigación como el análisis de redes sociales o la sociología computacional es que el entorno de la informática y las ciencias “duras” se ha visto obligado en muy pocos años a enfrentarse a cuestiones de método con las que no estaba acostumbrado a interactuar, a diferencia de sociólogos, psicólogos o humanistas. Por lo tanto, no sólo es necesaria la interdisciplinariedad, sino también una crítica de los procesos de producción capaz de reconocer la dinámica del valor, el trabajo y el impacto en el medio ambiente de los sistemas abiertos. En este sentido, de esta inteligencia opaca distribuida, o al menos de una pequeña parte de esta megamáquina, también podemos intentar abrir algunas cajas negras con las herramientas de la “investigación colectiva de abajo arriba”, con encuestas en los lugares de producción digital y sociología desde la vida cotidiana. Un ejemplo de este tipo de investigación es Into the Black Box, “un proyecto de investigación colectivo y transdisciplinar que adopta la logística como perspectiva privilegiada para investigar las mutaciones políticas, económicas y sociales actuales”. Los artículos de la web del colectivo y los eventos organizados, principalmente en Bolonia, ofrecen claves interpretativas muy útiles para leer la sociedad de la caja negra ampliando la mirada “dentro y fuera de la pantalla”, ofreciendo una interesante visión de la praxis política y estratégica, así como del análisis. Proyectos como éste, dentro y fuera de la academia, son cada vez más necesarios.

La guerra de los sesgos

Corría el siglo XVII y Gottfried Leibniz desarrollaba su sistema de mathesis universalis, un método simbólico capaz de resolver cualquier controversia mediante procesos computacionales. Era 2008, y Chris Anderson proclamaba en Wired el fin de la teoría en virtud de la era de los datos y la correlación. Desde entonces, el tiempo ha pasado, y en cierta medida incluso en la academia la resaca por el big data ha pasado, en parte como consecuencia de los conocidos casos de problemas surgidos por el uso de tecnologías de IA sin un aparato epistemológico adecuado: el bot Tay de Twitter, el caso COMPAS y otros similares. Es entonces cuando se empieza a hablar de los sesgos, y la investigación en IA se ramifica hacia los campos de la explicabilidad, tratando de abrir la caja negra de las decisiones y entender los mecanismos de la toma de decisiones. Con respecto a los LLM, en particular, se hace referencia a los estereotipos transmitidos con el lenguaje, o incluso hay quien habla de “sesgo” y “vulnerabilidad” en el caso de obtener respuestas de chatbot que no se ajustan a determinadas visiones o marcos políticos. El sueño de la inteligencia artificial correcta es el de una tecnología que piense y se comunique como los humanos, pero sin mentir, sin tener prejuicios y sin decir tonterías; básicamente, que no piense ni se comunique como los humanos. Sin embargo, incluso en la literatura académica se reconoce ahora que el propio término sesgo se utiliza con diferentes significados e intenciones, lo que hace que el debate sobre el tema sea cada vez más confuso. En sociología el término sesgo tiene un significado definido e indica un posible error en la evaluación o medición de un fenómeno debido a las técnicas de investigación, una distancia entre el fenómeno estudiado y su medición. Podríamos entonces establecer que el sesgo para la IA es una diferencia entre un punto de referencia considerado caso estándar o nulo y un modelo artificial. Y aquí llegamos a una cuestión clave: cuando hablamos de sesgo racista o sexista de una IA, o incluso de sesgo debido al lenguaje vulgar, ¿respecto a qué estamos afirmando que hay una distancia? ¿Cuál es el modelo nulo?

Eliminar el sesgo es una exigencia sin sentido, ya que el discurso neutro no existe.

Si tenemos en cuenta que los textos más utilizados para el entrenamiento de sistemas de IA proceden de grandes plataformas web, nos encontramos con que ya estamos haciendo una elección muy específica del tipo de lenguaje y del paradigma interpretativo. Según un estudio de Pew Internet Research de 2016, los usuarios de Reddit son en un 67% hombres de Estados Unidos, con un 64% de edades comprendidas entre los 18 y los 29 años. Otros estudios sobre la composición de la comunidad de Wikipedia constatan que sólo entre el 8 y el 15% son mujeres. ¿Qué pensará o sentirá una IA entrenada en estas plataformas sobre la expansión colonial? ¿Qué responderá cuando alguien intente pedir consejo e información sobre el aborto o la transición de género, dependiendo del país al que se refiera? La respuesta dependerá siempre de qué información, textos y materiales se hayan utilizado para entrenar a la máquina. La cuestión no es mejorar o corregir el modelo, la cuestión es que cualquier representación del mundo y cualquier forma de expresión se posiciona en un contexto social e histórico específico y, por lo tanto, en una situación específica marcada por estructuras de privilegio. Eliminar el sesgo es una exigencia sin sentido, ya que el discurso neutro no existe. La búsqueda de una equidad fantasma de la IA, alineada con los cánones y las costumbres sociales, debe afrontar que los cánones y las normas están situados geográfica, social e históricamente.

En 2008, una emisora de radio maorí sin ánimo de lucro de Nueva Zelanda, llamada The Hiku Media, inició un proyecto con el fin de entrenar algoritmos a partir de 300 horas de conversación en lengua maorí, manteniendo al mismo tiempo el control sobre los datos de su comunidad. Después de que Aotearoa, el nombre maorí de Nueva Zelanda, se convirtiera en colonia británica en 1840, el inglés tomó el relevo como lengua local, para imponerse como único idioma en las escuelas 30 años más tarde. Ya en 1970, habitantes y activistas maoríes crearon escuelas para preservar su lengua, pero debido a la despoblación y la urbanización el porcentaje de hablantes había caído en picado del 90% al 12%. Hasta 1987 no se reconoció el Te Reo como lengua oficial. Con la llegada de las tecnologías digitales, la comunidad se encuentra de nuevo en una encrucijada. “Si estas nuevas tecnologías sólo 'hablan' lenguas occidentales, es inevitable que quedemos excluidos de la economía digital”, afirma Michael Running Wolf, un desarrollador cheyenne que participa en proyectos de inteligencia artificial para la conservación de las lenguas. “Los datos son la última frontera de la colonización”.

Lo que marcará la diferencia en estos procesos socioténicos será el equilibrio de poder entre las partes implicadas.

Los medios de comunicación hiku no quieren subir datos e información a Facebook y YouTube, ni dejarlos bajo licencias que no permitan el control de la comunidad. “Los datos son la última frontera de la colonización [...] Nuestros datos serían utilizados por las mismas personas que nos privaron de esa lengua para vendérnoslos de nuevo como un servicio [...] Es como cuando te quitan la tierra y luego te la vuelven a vender”, afirman los miembros del proyecto. Una vez más, la cultura del código abierto se topa con el problema de la toma de decisiones sobre el uso de los datos, por lo que The Hiku creó una licencia específica que explicita las reglas básicas para futuras colaboraciones, basándose en el principio maorí de kaitiakitanga, o protección, concediendo acceso a los datos sólo a las organizaciones que se comprometan a transferir todos los beneficios derivados de su uso al pueblo maorí. Obviamente, las grandes empresas, observando también este y otros experimentos, ya están creando sus propios archivos de datos en lenguas locales y nativas y construyendo modelos de negocio desde esta perspectiva. Lo que marcará la diferencia en estos procesos socioténicos será el equilibrio de poder entre las partes implicadas.

Geopolítica y regulación

La idea etérea e incorpórea de la IA choca no sólo con la materialidad de la obra y los sistemas técnicos, o la localización y las luchas de poder en torno a la información y los datos, sino también con el impacto que esta tecnología está teniendo en la dinámica geopolítica. Para China, la carrera de la IA ha adquirido un papel fundamental tanto para el desarrollo de la industria nacional como en el plano de la confrontación internacional, especialmente con Estados Unidos, hasta el punto de que el propio Xi Jinping ha mencionado el tema varias veces en sus discursos. Durante la pandemia del Covid, el uso de tecnologías digitales e inteligentes como herramientas de control de la población fue evidente, de la medición de la temperatura al reconocimiento facial automático dentro del proyecto de crédito social. Los objetivos de la IA incluyen el concepto de ciudades inteligentes, luego infraestructuras interconectadas de alta velocidad (5G e IoT), una plena integración de la esfera digital en la planificación económica y la producción. La importancia de la IA en China queda demostrada por el hecho de que el motor de búsqueda Baidu creó en 2023 una alternativa china a ChatGPT, llamada Ernie.

Obviamente, en el contexto de la confrontación internacional, la necesidad de tecnologías inteligentes en el ámbito bélico es cada vez más acuciante. En la guerra de Ucrania, la superioridad tecnológica de la OTAN ha permitido a las fuerzas de Kiev una gama de prestaciones en el campo de batalla que no es insignificante a los ojos de otras naciones. El ejército chino ha identificado varios campos de interés para la IA, desde los vehículos automatizados sin conductor hasta los drones teledirigidos, con todas las implicaciones éticas que estas tecnologías conllevan. El Pentágono estima que la República Popular se encuentra en un nivel de desarrollo de la IA igual al de Estados Unidos, hasta el punto de que el informe final de la Comisión de Seguridad Nacional sobre inteligencia artificial afirma que “los planes, recursos y progresos de China deberían preocupar a todos los estadounidenses”. En muchas áreas, Pekín ha igualado los niveles de Estados Unidos e incluso va por delante en algunas.

La guerra de la IA no se limita al desarrollo de software, también se extiende a la parte física de las tecnologías y a las materias primas para fabricarla. Si bien es cierto que resulta difícil controlar productos laborales intangibles como los algoritmos, es bastante más fácil controlar las materias primas y los microprocesadores, principal motivo de fricción entre Estados Unidos y China en torno a Taiwán. Taiwán alberga el mayor sistema industrial de producción de chips del mundo. El 60% del mercado mundial y el 90% de los microchips más avanzados se producen en esta isla. Tmsc (Taiwan Semiconductor Manufacturing Company) es conocida como la principal compañía de fabricación y ensamblaje de semiconductores del mundo. En 2020 Donald Trump había convencido a Tsmc para que invirtiera en Arizona después de bloquear sus exportaciones a Huawei. Tsmc tiene instalaciones en China continental desde hace varios años, y el vínculo con Pekín siempre se ha mantenido, aunque siempre ha evitado exportar microchips de uso militar a China. La guerra de los semiconductores entre el proteccionismo estadounidense y la búsqueda de independencia de China representa uno de los retos más importantes del siglo XXI, con posibles consecuencias y efectos indirectos en toda la política internacional.

Y la Unión Europea, ¿qué está haciendo? Con 523 votos a favor, 46 en contra y 49 abstenciones, tras un largo y accidentado proceso en el que a veces parecía que estábamos en un callejón sin salida, el Parlamento Europeo aprobó el 13 de marzo de este año la Ley de IA, la primera regulación mundial sobre el uso de la inteligencia artificial y los sistemas basados en esta tecnología. Compuesto por 113 artículos y 12 anexos, el documento pretende proteger los derechos fundamentales y la sostenibilidad medioambiental, al tiempo que facilita y promueve el crecimiento de los competidores europeos frente a los gigantes estadounidenses.

El artículo 3 es el que define qué se entiende por inteligencia artificial, es decir, “un sistema basado en máquinas diseñado para operar con diferentes niveles de autonomía” y que a partir de las predicciones y contenidos generados “puede influir en entornos físicos o virtuales”. Por tanto, la definición no se aplica a los sistemas informáticos tradicionales ni a los enfoques que se basan en reglas predefinidas.

La regulación se basa en una clasificación de los sistemas de inteligencia artificial centrada en el riesgo. Determinadas aplicaciones, consideradas incompatibles con los derechos de la persona, están prohibidas. En esta categoría encontramos: los sistemas de identificación y categorización biométrica basados en características sensibles (género, raza, religión, etc.), los sistemas de crédito social como el chino, el reconocimiento automático de emociones en lugares de trabajo y escuelas, la vigilancia policial predictiva basada en la elaboración de perfiles y la extracción de imágenes faciales de internet, es decir, la práctica de descargar automáticamente grandes cantidades de imágenes para crear bases de datos. En cuanto a la prohibición de la identificación biométrica, sin embargo, se incluyen excepciones en las que la práctica estaría permitida, como en el caso de la búsqueda de una persona desaparecida, la prevención de un atentado terrorista o la investigación de un delito grave.

Otros sistemas están permitidos, pero se consideran de alto riesgo por su impacto negativo en la salud o la seguridad. Estos casos, como la IA para gestionar el tráfico rodado o analizar currículos para puestos de trabajo, están sujetos a obligaciones precisas, como la evaluación de riesgos en la fase de diseño, la presencia de documentación técnica, la transparencia y la garantía de supervisión humana de los procesos. Además, los usuarios de estas aplicaciones pueden presentar reclamaciones ante las autoridades competentes o pedir explicaciones sobre las opciones elegidas por los sistemas automatizados.

Por último, los sistemas con fines generales, como las plantillas generativas de texto o imágenes, tendrán que cumplir las normas europeas sobre transparencia y derechos de autor. El material generado debe ser claramente reconocible como tal y el usuario debe ser siempre consciente de que está hablando con una máquina.

Para equilibrar las limitaciones, el reglamento también introduce facilidades para que las empresas prueben y se adapten al desarrollo de tecnologías mediante espacios como los llamados “cajones de arena” reglamentarios, es decir, entornos físicos o virtuales en los que las empresas pueden probar nuevas tecnologías supervisadas por una autoridad competente, para poder garantizar la compatibilidad del producto con la regulación. Además, se prevén facilidades para las PYME y las empresas de nueva creación, así como la introducción de autoridades nacionales de control en cada país de la UE. Las sanciones por incumplimiento de las normas pueden alcanzar los 56 millones de euros o el 7% del volumen de negocios.

En cuanto a los modelos generativos, la petición política es que haya transparencia en el reconocimiento del material producido por IA para contrarrestar las falsificaciones (deepfakes) y las creaciones automáticas confundidas con humanas. Sin embargo, un punto a tener en cuenta, como ya se señaló con el RGPD, es que algunos requisitos, como la transparencia y la posibilidad de explicar las opciones automatizadas, son todavía objeto de investigación, por lo que tomarlos como obligación hoy no tiene plenamente en cuenta las posibilidades actuales de estas tecnologías. Lo mismo ocurre con la “declaración de falsificaciones”: incluso para la investigación aún no está claro cómo es posible insertar en una imagen, o especialmente en un texto, un marcador que indique su origen artificial (las llamadas marcas de agua) sin comprometer el contenido.

Esta regulación fracasa en su intento de prohibir la policía predictiva y la vigilancia masiva, además de crear políticas diferenciadas para inmigrantes y refugiados, que no están protegidos por la normativa.

Además, algunos activistas y organizaciones de derechos digitales, como Amnistía Internacional y Accessnow, han criticado el texto de la AI Act, por considerarlo lleno de “lagunas y excepciones” a favor del control social y corporativo. En concreto, según la asociación, esta regulación fracasa en su intento de prohibir la policía predictiva y la vigilancia masiva, además de crear políticas diferenciadas para inmigrantes y refugiados, que no están protegidos por la normativa. La UE lleva años desarrollando herramientas de vigilancia y detección automática en zonas fronterizas (que son usadas, entre otras cosas, para facilitar devoluciones ilegales), y la Ley de IA no prohíbe la aplicación de los sistemas de IA a este tipo de prácticas. Esto ha llevado a varias organizaciones (Amnistía, Algorithm Watch, Avaaz y otras) a poner en marcha en los últimos meses una campaña, #ProtectNotSurveil, para pedir a la Comisión y al Parlamento que pongan fin a las mismas. “La UE está creando una regulación a dos velocidades, en la que los migrantes están menos protegidos que el resto de la sociedad”.

Realismo capitalista y realismo algorítmico

La globalización y el turbocapitalismo digital nos han colocado en los últimos años frente a hiperobjetos cada vez más grandes, difíciles de comprender y contrarrestar, que nos dejan en un estado de desconcierto e impotencia. Las posibles respuestas tecnopolíticas y de plataformas alternativas al capital deben, por su parte, asumir los retos de investigación y los costes humanos y medioambientales que implican estas tecnologías. Un estudio reciente realizado por investigadores de la Universidad de California estimó la huella hídrica de modelos de IA como GPT en el orden de los 700.000 litros de agua dulce, sólo durante el entrenamiento de los modelos en los centros de datos de Microsoft. Esto es el equivalente al agua necesaria para producir 370 coches BMW o 320 vehículos Tesla. El mencionado documento sobre los “loros estocásticos” apunta que “si el ser humano medio es responsable de unas 5 toneladas de CO2 al año, el entrenamiento de un modelo Transformer emite unas 284 toneladas. Se calcula que entrenar un único modelo BERT en GPU requiere tanta energía como un vuelo transatlántico”. Sin duda, desde la publicación del documento, las tecnologías y los algoritmos de alto rendimiento están reduciendo los costes y la cantidad de materias primas necesarias para su desarrollo, pero en la cadena de producción del capitalismo, menos costes no significa menos explotación, sino todo lo contrario. La reducción de costes resulta un estímulo para un despliegue mayor de estos sistemas.

El marco discursivo y la hegemonía del realismo capitalista se apoyan en una supuesta superioridad e inaccesibilidad de la tecnología y la ciencia: redistribuir el conocimiento crítico se convierte entonces no sólo en un medio de hacer comprensible el mundo en que vivimos, sino también en una cuestión política.

¿Qué hacer entonces? La unión de los trabajadores tecnológicos, de los marginados u oprimidos por estas tecnologías, puede sugerir algunas vías de acción con vistas a repensar sus formas y objetivos. Sindicatos informales como la Coalición de Trabajadores/as Tecnológicos/as (Tech Workers Coalition) y, por supuesto, los movimientos transfeministas y ecologistas, son síntomas de ruptura con un sistema que se tambalea, señales que pueden y deben encontrar oportunas convergencias. Otra consideración puede resultar del hecho de que el marco discursivo y la hegemonía del realismo capitalista se apoyan en una supuesta superioridad e inaccesibilidad de la tecnología y la ciencia: redistribuir el conocimiento crítico se convierte entonces no sólo en un medio de hacer comprensible el mundo en que vivimos, sino también en una cuestión política. Lamentablemente, los círculos académicos y educativos están cada vez más impregnados de la retórica empresarial y neoliberal. Especialmente los campos técnicos, donde se está produciendo una intensificación de las colaboraciones entre ciencia y capital en el ámbito militar (una asociación que Oppenheimer, la película de Nolan, nos recuerda que viene de lejos). Construir una cultura y una educación técnico-científica desvinculada de las lógicas extractivas resulta entonces otra herramienta clave en el camino hacia la justicia climática y social.

Este texto es una combinación y traducción de artículos publicados en las revistas italianas Dinamopress, Not, e Il Manifesto.

Daniele Gambetta es licenciado en Matemáticas y doctorando en Inteligencia Artificial por la Universidad de Pisa. Es editor de la antología Datacrazia (D Editore, 2018). A lo largo de los años ha colaborado con varias revistas y periódicos italianos con artículos sobre temas de ciencia y tecnología como Fanpage, Vice, ilManifesto, Pagina99 y otros.