Tecnología
Catalina Perazzo: “X tendría que contribuir a la detección de contenidos ilícitos y no ayudar a generarlos”

Catalina Perazzo entiende la gravedad del uso de Grok para fines delictivos, como el de crear imágenes falsas sexualizadas de mujeres y menores sin consentimiento, pero se resiste a proponer una solución que pase por la prohibición total. Perazzo es jurista y desde 2014 forma parte de Save the Children como analista jurídica de derechos del niño en el área de sensibilización y políticas de infancia.

Tras conocerse el informe sobre el uso de Grok que muestra cómo se utiliza esta IA integrada en X para generar de forma sistemática imágenes sexuales no consentidas de mujeres (sobre todo) y de personas menores de edad, Save the Children ha pedido medidas preventivas urgentes: reclaman responsabilidad ética a las empresas tecnológicas, implementación de sistemas de detección y moderación efectivos, y colaboración con autoridades para prevenir, retirar y sancionar contenidos ilícitos. Además, alertan sobre el problema de la flexibilización de las políticas de X en relación con el contenido sexual y recuerdan que cualquier imagen que represente formas de violencia sexual hacia la infancia constituye siempre una forma de violencia y un delito, con independencia de la política de contenidos vigente o de cualquier criterio de moderación de la plataforma.

Después del impacto internacional y de que varios países tomaran medidas, X aseguró haber tomado medidas contra el uso indebido de su IA. Pero, el viernes, esta herramienta seguía permitiendo a los usuarios publicar este tipo de contenidos, advertía The Guardian.

Tras el informe sobre Grok conocido a principios de año, el Ministerio de Juventud en Infancia ha pedido a la Fiscalía General del Estado que abra una investigación. ¿Es este el camino a seguir? ¿Se pueden tomar otras medidas?
Nos parece oportuno que se abra esa investigación; se tendrá que investigar y determinar qué se hace por la vía judicial. Por otra parte, existe la oportunidad de avanzar en paralelo para prevenir estas prácticas, ya que está en el Congreso de los Diputados la Ley de Entornos Digitales, que tiene que establecer obligaciones específicas para las empresas y las plataformas tecnológicas. Porque, al final, lo que hemos visto es que la autorregulación no ha funcionado y que es necesario que se trabaje en un modelo donde realmente las empresas y las plataformas asuman un compromiso y se desarrolle una cultura empresarial que también contribuya a la protección de la infancia y la adolescencia.

Ese Proyecto de Ley Orgánica para la protección de las personas menores de edad en los entornos digitales, que se encuentra en fase de tramitación en el Congreso y cuenta con un amplio consenso, ¿qué medidas contempla que podrían evitar el uso de IA que hemos visto en estas semanas?
El proyecto incorpora un nuevo tipo penal en el artículo 173 bis que sanciona las ultrafalsificaciones, lo que se llama deepfakes. Y lo que hace es reforzar la protección ante estas conductas. En el Código Penal ya está tipificado como delito la producción, posesión, distribución y consumo de material de abuso sexual infantil, que es lo que se llama ahora pornografía infantil. Ahí se incluyen representaciones realistas de personas menores de edad en actos sexuales. El proyecto de ley completa esto con la parte de ultrafalsificaciones.

Otra cosa que estamos intentando es que se elimine el concepto de “pornografía infantil”, porque al final está invisibilizando que se trata de imágenes de abuso sexual. Al llamarla pornografía infantil se puede entender que hubiera una parte de voluntariedad por parte de los chicos y chicas. Invisibiliza esta realidad, minimiza la gravedad y contribuye a la normalización de los delitos sexuales contra la infancia

Lo que viene a hacer el proyecto de ley es actualizarse ante una realidad que es muy cambiante, pero que es necesario abordar. Porque, al final, lo que hacen las ultrafalsificaciones es contribuir a normalizar la sexualización de la infancia y se reduce esa percepción de gravedad de este tipo de delitos.

La generación de estas imágenes afecta a la infancia y adolescencia. ¿Existen evidencias sobre de qué forma impactan?
La generación de estas imágenes afecta directamente a la dignidad de las personas que aparecen desnudas y a su integridad moral. Luego, evidentemente, hay distintos supuestos y el nivel de impacto puede ser mayor o menor en función del conocimiento que pueda llegar a tener la persona o no, y de la difusión que eso pueda tener. No es lo mismo que se utilice una imagen en un contexto donde nadie se entera a que sea utilizada y se difunda por todos los chats de tus amigos. Pero, al final, lo que nosotros queremos mostrar es que la IA se está incorporando a dinámicas que ya existen de violencia sexual digital en general.

La violencia contra la infancia tiene muchísimas formas y está muy tolerada; la sociedad no es totalmente consciente de la dimensión de esta violencia

Tenemos varios informes donde mostramos que esta violencia ocurre. A veces se hace de menos por no verlo tan grave: “Ah, si solamente le han quitado el bikini en la foto”. Cuando realmente lo que esto hace es mostrar un contexto y un entorno hostil y violento al crecimiento de niños y niñas, además con un alto componente de género.

El informe Redes que atrapan que publicamos el año pasado estudia precisamente la explotación sexual de la infancia y la adolescencia en el entorno digital y muestra cómo el 20 % de los jóvenes que encuestamos nos dijeron que alguien había compartido imágenes creadas con IA de ellos para mostrarlos desnudos sin consentimiento y cómo esto afectaba más a las chicas. Ellos son totalmente conscientes de la existencia de estas prácticas y, además, manifiestan cada vez mayor preocupación por ver la imagen, incluso si no era sexual, difundida. No a que una imagen sexual suya se difunda, sino a que una imagen que no tiene contenido sexual se manipule para ello. Hay un componente en este caso en concreto que es especialmente grave, y es que estamos hablando de una plataforma de alcance global y de una de las principales redes sociales.

Dices que la IA se incorpora a un contexto que ya existe. ¿Cuál es ese contexto?
Nosotros lo que observamos es que la violencia contra la infancia tiene muchísimas formas y que está muy tolerada. Es algo que ha ido cambiando con los años y que supone un trabajo muy intenso por parte de profesionales de distintos ámbitos. La sociedad no es totalmente consciente de la dimensión de la violencia que sufre la infancia. Está mucho más extendida de lo que sabemos. Los abusos sexuales hacia la infancia permanecen ocultos en su gran mayoría: solo el 15 % se denuncia. Hay cierta violencia que está ahí y hay una parte que tiene que ver con esa percepción de que hay cuestiones que no son graves.

Un ejemplo donde yo creo que sí se está avanzando es el nivel de preocupación que tiene la sociedad por el acoso escolar, el bullying, también en su dimensión digital, en el ciberacoso. Uno de los primeros informes que sacamos hace diez años se llamaba Yo a eso no juego y uno de los mensajes clave era que «no eran cosas de niños». Hay muy pocas personas que digan hoy en día que son cosas de niños porque nos hemos ido dando cuenta de que tienen un impacto mucho mayor a nivel de salud mental, que puede llegar a ser físico y que, además, con la parte digital, adquiere una dimensión o un alcance mucho mayor.

Pero luego hay otras cuestiones de las que no hay tanta conciencia, como toda la parte de la violencia sexual y la discriminación de género hacia las chicas, la hipersexualización de la infancia y la adolescencia. Es algo que rodea a los chicos y chicas. Y, en la adolescencia, eso cobra un peso muy importante porque es cuando se está desarrollando su personalidad y la manera en que se van a relacionar con el resto de las personas.

Los datos de organizaciones internacionales muestran también la magnitud del crecimiento de esta forma de violencia: en 2024, CyberTipline del NCMEC (el Centro Nacional para Niños Desaparecidos y Explotados, organización que lidera los esfuerzos para prevenir la explotación sexual infantil, localizar a niños y niñas desaparecidos y reducir la circulación de material de abuso sexual infantil en línea en todo el mundo) recibió 67.000 denuncias relacionadas con material de abuso sexual infantil generado por IA, lo que supone un aumento del 1.325% respecto al año anterior, en el que se recibieron 4.700 denuncias.

No estamos a favor de que se aumente la edad porque no creemos que retrasar la edad de acceso —la prohibición en sí misma— sea la solución. Creemos que la solución tiene que ser más integral

Si ellos crecen en un entorno donde se normaliza que tú puedas coger una aplicación y pedir que te desnuden en una fotografía y que eso no está mal, esto transmite unos valores. Al final, estás diciendo que van a crecer en un entorno donde se arriesgan. Y la solución no es quitarles el teléfono ni que no puedan entrar a internet. Habrá que poner límites, desde luego, pero no podemos renunciar a que las plataformas y los proveedores de servicios actúen de manera responsable.

Una de las cosas que propone la Ley de Entornos Digitales es precisamente aumentar la edad de acceso de niños y niñas a internet. ¿Cómo lo valoráis desde Save the Children?
No estamos a favor de que se aumente la edad porque no creemos que retrasar la edad de acceso —la prohibición en sí misma— sea la solución. Creemos que la solución tiene que ser más integral. En el caso de España, lo que se propone es que la edad pase de los 14 a los 16 para el tratamiento de sus datos, no exactamente para el acceso a redes sociales. Lo que necesitarán es el consentimiento de sus padres para darse de alta, por ejemplo. Creemos que en la parte de protección de datos tendría que haber un poco de coherencia y que los propios chicos puedan aceptar el tratamiento de sus datos junto a los padres: no que necesiten la autorización de sus progenitores a esa edad, ya que para otros temas no los necesitan.

Pero al poner una prohibición solamente basada en la edad, corres el riesgo de generar algún daño no intencionado; por ejemplo, generas una falsa sensación de seguridad. Además, también estás restringiendo derechos y oportunidades. Una persona que es menor de edad y tiene dudas sobre su orientación sexual o su identidad de género, y no se atreve a preguntar en casa, puede buscar información en internet. Hay mil ejemplos de las oportunidades que tiene internet y de cómo, bien utilizada, es positiva.

Las propias plataformas, en este caso X, tendrían que contribuir a la detección de contenidos ilícitos y no estar ayudando a generarlos

¿Nos vamos a rendir tan rápido y dejar de exigir responsabilidad a las plataformas? ¿Lo único que vamos a hacer es echarlos? Haciendo eso solamente estamos dando una patada hacia adelante al problema. Dicho esto, la propuesta que está en el Congreso no nos parece especialmente restrictiva. Creemos que tiene varias medidas muy positivas y que ni el Gobierno ni el Congreso se han posicionado hasta ahora en la prohibición como medida única. Lo que es fundamental es establecer mecanismos de verificación de la edad eficaces y garantistas.

Países como Malasia e Indonesia han tomado medidas contundentes como es prohibir el uso de Grok. ¿Cómo valoras esa prohibición?
Lo que tiene que hacer el proveedor es garantizar que no se puede utilizar de manera indebida. Yo hablo por la parte que afecta a personas menores de edad, pero creo que no se tendría que poder usar tampoco para personas mayores. Es algo vejatorio en cualquier caso. Las propias plataformas, en este caso X, tendrían que contribuir a la detección de contenidos ilícitos y no estar ayudando a generarlos. Las autoridades deben establecer obligaciones legales específicas para que detecten y notifiquen. Lo que no puede ser es que la política interna o la moderación de esa plataforma esté por encima del marco legal vigente. Esto es una vulneración de derechos y es un delito.

Estamos hablando de las criaturas como víctimas, pero las criaturas también son consumidoras de estas imágenes.
Ante una falta de educación afectivo-sexual reglada y adaptada por edades, los chavales la están buscando en otro sitio. Y la pornografía es uno de ellos. Un porcentaje muy alto tiene como única educación sexual la pornografía. Estamos hablando de una pornografía a la que acceden en abierto, que es gratuita y que reproduce en muchos casos roles de género, abusos de poder y violencia. Teníamos el testimonio de un chaval que decía: “Yo sé que está mal, sé que es violencia, pero ya no lo puedo evitar. Me pone”. La adolescencia es la etapa en la que se forma su deseo sexual y lo que están recibiendo es esto.

El informe Silenciadas. Un análisis sobre agresiones sexuales en la adolescencia, sobre violencia sexual entre adolescentes y la investigación nos mostraba que, aunque no debamos generar alarma por las violaciones grupales, el hecho es que el vídeo más visto era una violación en grupo. Las propias chicas y chicos nos contaban que todo esto está normalizado. Se normaliza el consumo de pornografía; la violencia online, al final, tiene un contenido muy fuerte sexual y de violencia de género. Hay mucho discurso misógino.

¿Qué dicen los chicos y las chicas? ¿Tenéis algún espacio de participación en el que niños y niñas opinen directamente sobre estos temas?
Hay grupos de participación en los distintos territorios donde estamos. Además, lo que hemos hecho el año pasado es crear nuestro Consejo Asesor de Infancia y Adolescencia como órgano de gobernanza de la organización. Uno de los temas en los que han elegido trabajar es la violencia hacia la infancia en el entorno escolar. Por otro lado, estamos trabajando también con un grupo de chavales sobre el grooming, tema sobre el que sacaremos un informe pronto. Casi todos los informes que hacemos suelen llevar una parte de consulta para que sea representativo. Uno de los próximos estudios que vamos a hacer este año será sobre discursos de odio y misóginos en el entorno digital.

¿Por qué Save the Children está en X?
Es una conversación que tenemos abierta desde hace tiempo y que tenemos que valorar. Para bien o para mal, ahora mismo nos sirve de altavoz para nuestra misión, que es promover el respeto de los derechos de la infancia y la adolescencia.. Pero, desde luego, es una reflexión abierta.