España ya tiene un caso de material con explotación sexual a menores creado por IA: no será el último ni hay que esperar a la UE para combatirlo

Instituto reconocimiento facial
  • Niñas de entre 12 y 17 años de Almendralejo (Extremadura) sufren desde hace semanas por la distribución de imágenes generadas por IA que las desnudan.
  • Una madre ha dado la voz de alarma. El uso de la IA es anecdótico: la legislación ya prevé mecanismos para perseguir un delito como este.
  • Mientras, en Bruselas siguen las negociaciones sobre el futuro Reglamento de la IA, que podría incorporar nuevas sanciones por crear deepfakes y no etiquetarlos.

"Esto es muy grave y tenía que compartirlo". De esta manera, Miriam Al Adib, ginecóloga, obstreta y divulgadora, dio la voz de alarma este domingo a través de las redes. Su hija, menor de edad, había sido víctima de un deepfake. Una imagen generada con una herramienta de inteligencia artificial la había desnudado, y la fotografía se estaba distribuyendo sin su consentimiento.

La hija de Miriam es una de las muchas víctimas de lo sucedido en Almendralejo, un pueblo de Badajoz (Extremadura). Grupos de WhatsApp llevan distribuyendo deepfakes en las que aparecen niñas del municipio de entre 12 y 17 años sin ropa. 

Son ya varias las madres del pueblo que se están movilizando para paralizar inmediatamente esta escabrosa situación. Muchos de los casos ya están en manos de la policía, explicaba Al Adib este lunes en varios medios. En el vídeo de Instagram en el que daba la voz de alarma este domingo, la divulgadora y madre se expresaba con contundencia:

"A quienes han hecho esta barbaridad: no sois conscientes del daño que habéis hecho a todas las chicas". "Tampoco sois conscientes del delito que habéis cometido".

El asunto tiene varias lecturas. Una de ellas es cómo herramientas como la inteligencia artificial generativa pueden agravar este problema que sufren tantas mujeres, tanto menores como mayores de edad. Pablo Duchement, perito judicial informático experto en delitos en redes sociales perpetrados por y contra menores, lo advertía hace meses en un artículo en su blog.

Los riesgos de los deepfakes para la democracia son evidentes, pero quien más está sufriendo el fenómeno son las mujeres que aparecen en vídeos pornográficos falsos

"Ahora, por si fuera poco, aparece la IA para complicarlo todo mucho más: desde imágenes realistas totalmente creadas de la nada basándose en una descripción de su contenido, hasta deepfakes o escenas en las que se introduce, de manera muy creíble, el rostro de una persona (en el caso que nos ocupa, menor de edad) en el cuerpo de actores (que no lo son)".

El uso de la IA para lesionar la esfera íntima y la dignidad de terceros ha llegado, desgraciadamente, para quedarse. Los trílogos sobre el futuro Reglamento de la IA continúan en Bruselas. Estas negociaciones tripartitas entre Parlamento, Consejo de la UE y Comisión podrían dar sus frutos antes de que termine el año, poniendo esta nueva regulación a disposición de los estados miembros.

Pero no hay por qué esperarla.

Lo explica en conversación telefónica Ibán García, eurodiputado socialista y uno de los ponentes en la sombra del reglamento. "Estas cosas caen ya en la regulación que existe en los países miembros: para empezar, en el Código Penal. Al margen de la herramienta que se use, una IA, un dibujo, un collage, son imágenes con un tratamiento y hay herramientas penales para abordarlo".

También lo corrobora el propio Duchement en su citado artículo: el artículo 189 del Código Penal contempla como "pornografía infantil" todo material "que represente de manera visual a un menor o una persona con discapacidad necesitada de especial protección" participando "en una conducta sexualmente explícita, real o simulada".

"Existe un debate sobre si la pornografía infantil generada por IA debe incluirse dentro de la categoría de pornografía infantil simulada", destaca Duchement, que entonces cita la doctrina de la Fiscalía General del Estado. "La creación de imágenes de menores de edad con fines sexuales, incluso a través de la tecnología, puede generar un riesgo real para la integridad de los menores".

"Es por ello que el hecho de que la fuente sea una IA no va a ser un eximente, puesto que está incluida entre los posibles métodos de generación de material de explotación sexual infantil. Lo que va a condicionar que sea considerada pornografía sexual infantil son otros factores, como el realismo y la finalidad", continúa el perito.

El Reglamento de la IA, contra los deepfakes

Un organismo británico alertaba ya hace unos años que los casos de sextorsión y "porno de venganza" se habían multiplicado tras el estallido de la crisis sanitaria del coronavirus. Ahora ninguna mujer está a salvo de esta circunstancia ante la popularidad de herramientas fundacionales de IA.

Estrellas como Gal Gadot, Taylor Swift, Scarlett Johansson, Maisie Williams, Daisy Ridley, Sophie Turner o Emma Watson ya han sido víctimas de deepfakes en los que un sistema IA introduce sus rostros en escenas de contenido sexual explícito.

Cuando Bruselas puso sobre la mesa su borrador para que la Unión tenga un reglamento específico para la inteligencia artificial, la mayor preocupación política en aquel momento era la vigilancia y la discriminación que podían provocar herramientas como los modelos de reconocimiento facial. El mundo es en 2023 muy distinto a como lo era en 2021.

Es por eso que ahora, cuando el futuro Reglamento de la IA encamina sus últimos pasos antes de ser aprobado y entrar en vigor, emergen nuevos debates. Ibán García, el eurodiputado, explica a Business Insider España que uno de esos debates se centra precisamente en la problemática de los deepfakes.

"Hay un debate interno sobre si se deberían establecer sanciones a usuarios que crean deepfakes y no los etiquetan como tales". El temor en esas negociaciones es que la propuesta simplemente plantee instalar puertas al campo. "Quien hace una utilización fraudulenta de la IA no va a etiquetar nunca un deepfake", lamenta el parlamentario.

Los 'deepfakes' progresan más rápido que las herramientas que los detectan, y eso preocupa en la comunidad 'hacker': la red se llenará de 'replicantes'

Por eso García se muestra más partidario de que esto sea cuestión de derecho nacional. "Tenemos un debate alrededor de si empresas que desarrollan este tipo de técnicas pueden ser sancionadas, si sus deepfakes se pueden crear sin estar catalogados". 

Continúa: "Estamos pensando en si debe haber sanciones adicionales o un catálogo de sanciones a nivel europeo, independientemente de que luego haya otro a nivel nacional, o valorando la posibilidad de instar a los estados miembros a que hagan un catálogo de usos inapropiados de este tipo de herramientas e implemente sanciones adicionales". 

"Nos encontraremos con casos de un deepfake que no necesariamente se correspondan con un desnudo, sino que afecte de otra manera a la integridad de las personas", detalla García.

Mientras el debate se esclarece en Bruselas, España ya tiene un caso conocido de material de abuso sexual a menores generado por inteligencia artificial. Como advertía Miriam Al Adib: "Esto no es ninguna tontería". "Esto lo va a llevar todo a la policía, no solo quienes se están dedicando a desnudar con IA a las chicas, sino también todos quiénes lo están compartiendo".

"Y un mensaje a las chicas: vosotras no tenéis la culpa. Vuestras madres os van a ayudar. Y si os cuesta trabajo decírselo, lo escribís. Estad tranquilas porque esto no se va a quedar así y se va a parar ya. Parad ya toda la cadena de grupos de WhatsApp y si habéis subido algo a internet, ya podéis daros prisa para bajarlo".

Descubre más sobre , autor/a de este artículo.

Conoce cómo trabajamos en Business Insider.