Inteligencia artificial
Los planes del Gobierno para la supervisión de la inteligencia artificial excluyen a la sociedad civil

El Gobierno español quiere actuar como avanzadilla en la regulación de la Inteligencia Artificial (IA) en Europa. “No queremos ser testigo, sino protagonistas de los grandes cambios digitales”, dijo en una reciente entrevista Carme Artigas, secretaria de estado de digitalización y figura clave en estas aspiraciones. En los próximos meses bajo su batuta abrirá la primera agencia nacional en el continente creada para supervisar y controlar estas tecnologías, bajo las siglas de AESIA (Agencia Española de Supervisión de la IA).  

El borrador del reglamento europeo (conocido como AI Act), actualmente en discusión en Bruselas, exige que los Estados miembros designen autoridades nacionales para vigilar su cumplimiento. La mayoría de países todavía no han explicado cómo lo van a hacer. Pero España ya ha detallado que creará una entidad independiente del Gobierno, encargada de supervisar algoritmos tanto del sector privado como público. 

La capacidad de la AESIA para vetar el uso de sistemas potencialmente dañinos para las personas estará muy ligada a la versión final de la norma que se apruebe en Bruselas. También su potestad para imponer sanciones económicas a empresas o administraciones que se salten la normativa. 

Por otro lado, los recursos y el funcionamiento interno de la agencia están ahora mismo en discusión dentro del Gobierno. Pero la documentación oficial disponible y las fuentes consultadas para este artículo permiten dibujar ya cuáles serán las prioridades y líneas maestras de este organismo. 

Testear la normativa europea

El pasado verano Artigas y el comisario europeo de Mercado Interior y Servicios, Thierry Breton, presentaron un sandbox regulatorio —o entorno de pruebas controlado— para que empresas españolas testeen de primera mano la nueva normativa. 

El objetivo del Gobierno español con este testeo es doble. Primero, identificar “mejores prácticas” entre las empresas participantes sobre cómo implementar la regulación europea. Algunas de ellas se recogerán luego en una guía que España se ha comprometido a presentar durante su presidencia del Consejo Europeo en el segundo semestre de este año). 

La capacidad de la nueva normativa europea y de las agencias de supervisión nacionales para detectar (y prevenir) el impacto social negativo de los sistemas de IA es una de las grandes preguntas hoy en el aire

Y segundo, definir la manera en que trabajará la AESIA y cuál será su relación con los actores privados del mercado español. Así se desprende de una licitación pública publicada hace unas semanas y de las explicaciones ofrecidas desde el Gobierno para este artículo. 

“Se da la vuelta a la lógica normativa. Normalmente tú desarrollabas, escribías la ley y veías las consecuencias. Y en base a eso podías hacer las modificaciones legales pertinentes. En este caso es al revés: participan empresas con sistemas de IA más avanzados y se van viendo casos de uso y dónde se pueden producir determinadas discriminaciones. En base a eso, se intentarán minimizar los sesgos de los sistemas”, señala en conversación por videollamada Carlos Ruiz de Toledo, asesor del ministerio. 

En los últimos meses un proveedor externo al Gobierno, formado por la consultora Deloitte y la asociación OdiseIA, ha redactado varias guías y manuales para explicar de manera práctica a las empresas cómo implementar los requisitos de la normativa. Estas guías incluyen autoevaluaciones de conformidad —es decir, listas de preguntas específicas relacionadas con la nueva ley— y están centradas en los casos de uso considerados de alto riesgo por el AI Act. 

Entre marzo y abril de este año —cinco meses después respecto a los planes iniciales del Gobierno— este entorno de pruebas se abrirá a empresas que quieran participar de forma voluntaria, explica por correo electrónico Miguel Valle del Olmo, alto cargo del equipo de Artigas.

Un sello nacional y automatización de la supervisión

En esa licitación se detallan también los planes del Gobierno para los primeros pasos de la agencia. La empresa adjudicataria (el contrato se divide en dos lotes) tendrá entre otras funciones que actualizar y redactar las guías finales del sandbox, pero también “definir los procesos internos” de funcionamiento de la agencia y los perfiles profesionales necesarios para su puesta en marcha. 

Entre estos planes está la creación de un sello nacional de IA. Es decir un certificado que acredite que los sistemas desplegados en el país cumplen con los requisitos exigidos por Europa. Este sello será de carácter voluntario, al menos hasta la entrada en vigor definitiva del reglamento europeo. Desde el Gobierno no aclaran cómo van a incentivar que las empresas pasen por este reconocimiento. Pero deslizan la posibilidad de vincular el acceso a los fondos de financiación europeos a este sello de calidad. 

Otra de las ideas de Artigas es automatizar todo lo posible el trabajo de supervisión de la agencia. Para ello se desarrollará una herramienta web a la que tendrá acceso tanto el personal de la AESIA como las empresas que usen sistemas de IA de alto riesgo. En ella las empresas podrán auto-evaluar la conformidad de sus sistemas con el reglamento; así como hacer un seguimiento una vez han sido desplegados en el mercado. La herramienta, según la documentación oficial consultada, también incluirá un análisis del código y los datasets de los sistemas. 

“Sin perfiles humanistas o sociales en esta plantilla, ¿cómo vas a observar el impacto social de los sistemas de IA?”, se pregunta Judith Membrives, activista por los derechos digitales y de Lafede.cat

Dentro del consejo asesor de la IA del Gobierno se ha discutido en los últimos meses la automatización, al menos parcial, de las auditorías de algoritmos desde la AESIA, señala Amparo Alonso Betanzos, miembro de este consejo. Aunque esta investigadora, como otras voces, alerta de las limitaciones que tiene realizar un análisis automatizado a sistemas de IA. 

“Automatizar ciertas cosas es bastante complejo. Habrá partes que sí se podrán medir de forma automática: los datos que se recogen, las variables usadas, etc. Pero por ejemplo la interfaz con humanos es más complicada”, señala. 

Recursos todavía en el aire 

Como cualquier agencia pública de nueva creación, la AESIA necesita recursos económicos y humanos suficientes para empezar a operar. Su dotación presupuestaria es precisamente el principal motivo hoy de disputa entre este departamento y otros ministerios del Gobierno.

Inicialmente se difundió que la agencia contaría con cinco millones de euros. Ruiz de Toledo asegura que la intención es aumentar este presupuesto antes de su puesta en marcha, pero aclara que esto dependerá del Ministerio de Hacienda. Y apunta que una de las opciones para aumentar estos recursos es que las futuras sanciones económicas de la agencia a empresas o administraciones vayan a parar a su propio presupuesto.

Una parte importante del dinero finalmente designado será para pagar las nóminas de la plantilla de la agencia. El Gobierno estimó en otoño una plantilla de 40 trabajadores, todos ellos funcionarios del Estado de perfiles técnicos, administrativos y jurídicos. La ausencia de otro tipo de perfiles ha despertado suspicacias entre investigadores y entidades en defensa de la justicia algorítmica.

Varios colectivos piden que la Agencia de Supervisión de la Inteligencia Artificial tenga un registro público de algoritmos

Redacción El Salto

Inteligencia artificial

Regulación de algoritmos Varios colectivos piden que la Agencia de Supervisión de la Inteligencia Artificial tenga un registro público de algoritmos

Redacción El Salto

Las organizaciones reclaman participar en el diseño de la futura Agencia Española de Supervisión de Inteligencia Artificial y proponen la creación de estándares y criterios de evaluación algorítmica que aseguren un buen uso de la inteligencia artificial en la vida cotidiana, en las administraciones públicas y las empresas privadas.

“Sin perfiles humanistas o sociales en esta plantilla, ¿cómo vas a observar el impacto social de los sistemas de IA?”, se pregunta Judith Membrives, activista por los derechos digitales y de Lafede.cat. Ruiz De Toledo no descarta que en los próximos meses se pueda abrir la plantilla a profesionales o colaboradores externos, aunque reconoce las dificultades para justificar su inclusión en un organismo como este.

Los recursos económicos y humanos de la AESIA, claves para definir su capacidad de supervisión real, se incluirán en unos estatutos internos que deberían estar listos antes del verano. La previsión más optimista del equipo de Artigas es tener toda la documentación en junio y dar al Gobierno tiempo para tramitar las leyes pertinentes en verano. Así, la agencia echaría andar, si nada se tuerce por el camino, el próximo otoño. 

A nivel oficial el Gobierno solo ha anunciado por ahora que la sede física de la agencia estará en A Coruña, después de un concurso entre varias candidatas. Una asignación que ha levantado una gran polvareda política en Granada, una de las sedes candidatas, que ha criticado al Ejecutivo central por falta de transparencia y un supuesto trato de favor hacia la ciudad gallega. 

Impacto social de la IA 

La capacidad de la nueva normativa europea y de las agencias de supervisión nacionales para detectar (y prevenir) el impacto social negativo de los sistemas de IA es una de las grandes preguntas hoy en el aire.

Ya en 2020 el Gobierno español incluyó en la Estrategia Nacional de Inteligencia Artificial (ENIA) la creación de un observatorio público de impacto social algorítmico. Más de dos años después nada se sabe de esta entidad. Ahora, bajo el paraguas de la nueva normativa europea, el Ejecutivo plantea un plan en teoría más ambicioso para proteger a la ciudadanía de los efectos perniciosos de estas tecnologías.

“La ciudadanía no solo se va a posicionar cuando exista algo malo [con la IA]. Quiere ser escuchada para que estos procesos sean diseñados de forma que, además de la parte más mecánica, se tenga también en cuenta su impacto en la sociedad”

En los contratos publicados, el Gobierno incluye la creación de un “plan nacional de protección de colectivos vulnerables de IA” con varias acciones. Entre ellas un estudio de las implicaciones y riesgos de la IA por colectivos y ámbitos y la redacción de manuales de buenas prácticas para sistemas de IA en las administraciones públicas -los cuales habría que aplicar a algoritmos en uso desde hace años en España como RisCanvi (usado en el sistema penitenciario catalán), Veripol (un algoritmo para la detección de denuncias falsas en la Policía) o VioGén (un sistema automatizado integrado en los protocolos contra la violencia machista).

Asimismo se especifica la creación de un “laboratorio de observación de riesgos” que realizará “auditorías informales” sobre sistemas considerados de riesgo. Este plan de trabajo se realizará entre empresas externas y el equipo de Artigas, aclara Miguel Valle del Olmo. Y sus resultados se entregarán a la propia AESIA, señala. 

Rol de la sociedad civil

Estos planes sobre el papel contrastan con el rol que el Gobierno español está dejando hasta ahora a la sociedad civil. En España en los últimos años han proliferado entidades de defensa de los derechos humanos en el ámbito digital y de la IA: organizaciones como la Fundación Civio, que ha llevado a los tribunales al Gobierno a causa de un software usado para la asignación del bono social eléctrico; el colectivo Algorights, y el Observatorio de Trabajo, Algoritmo y Sociedad (TAS), de defensa de los derechos de los trabajadores de plataformas.

Estas y otro medio centenar de organizaciones sociales reclamaron en septiembre pasado al Gobierno a través de una carta pública poder participar en el diseño y en la estrategia de la nueva agencia supervisora. Semanas después Carme Artigas recibió a varios representantes para escuchar sus peticiones. 

Varias personas participantes en este encuentro señalan que, más allá de las buenas palabras, Artigas descartó su inclusión en el proceso de diseño de la agencia. De hecho, cuatro meses después de esta reunión el Gobierno no ha contactado de nuevo con ellas.  

“Estamos asistiendo a un proceso disruptivo en el cual deben participar muchos más actores, de eso no hay duda, sino será demasiado tarde”

Albert Sabater, investigador y director del observatorio de ética en IA de Cataluña (OEIAC), reclama la necesidad de aumentar el peso de la sociedad civil en estos procesos. “La ciudadanía no solo se va a posicionar cuando exista algo malo [con la IA]. Quiere ser escuchada para que estos procesos sean diseñados de forma que, además de la parte más mecánica, se tenga también en cuenta su impacto en la sociedad”. “Estamos asistiendo a un proceso disruptivo en el cual deben participar muchos más actores, de eso no hay duda, sino será demasiado tarde”, añade. 

Otro elemento llamativo de este proyecto es cómo se está licitando externamente el diseño y desarrollo de varios de los planes y acciones de la futura agencia. David Cabo, co-director de la Fundación Civio, especula con que el Gobierno esté apurado en los plazos y trate así de llegar a tiempo para arrancar con la agencia este año.

“El diseño de la agencia debería estar en manos públicas. Si quieres que la agencia acumule conocimiento para vigilar a los demás, si empiezas licitando en vez de contratando a los funcionarios, ese conocimiento no se va a quedar dentro de la agencia”, advierte.