Los límites en los modelos de IA generativa pueden ser fácilmente burlados para crear imágenes que impulsen teorías de la conspiración

Una investigación que publica Bloomberg revela lo sencillo que es burlar la moderación en plataformas como Midjourney, una de las populares IA generativas que crean fotos e ilustraciones siguiendo las indicaciones escritas que se le introduzca al modelo. Como resultado, la plataforma puede ser una importante aliada a la hora de generar imágenes que desinformen.

Midjourney permite a sus usuarios crear ciertas imágenes dentro de unas directrices. Por ejemplo, sus términos de servicio advierten que los usuarios no podrán crear imágenes que sean "inherentemente irrespetuosas, agresivas o de algún modo abusivas", y prohibirá "el contenido adulto o explícito". 

Dichos términos también avisan de la prohibición de usar la IA para crear imágenes que respondan a campañas o intereses políticos. El sistema podrá "bloquear automáticamente algunas indicaciones" que los usuarios intenten escribir a la IA. Además, Midjourney tiene un equipo de 68 personas que modera la plataforma, según detalla Bloomberg en su reportaje.

Sin embargo, una investigación del Centro de Respuesta al Odio Digital —Center for Countering Digital Hate, una organización británica— revela que, a pesar de esas normas, los usuarios pueden seguir generando imágenes que pueden ser consideradas "abusivas" para los propios términos de Midjourney, y en consecuencia, seguir propagando desinformación.

La investigación, que todavía no es pública, destaca cómo muchos usuarios han podido hacer uso de este modelo de IA generativa para crear fotografías e ilustraciones falsas que alimentan teorías de la conspiración como la del Pizzagate. 

El del Pizzagate fue un bulo que circuló en 2016 y que aseguraba que la candidata en las elecciones de EEUU en 2016, Hillary Clinton, tenía junto a su jefe de campaña una red de trata de menores en una pizzería de Washington DC.

Prepárate, esta campaña que acaba de terminar puede ser la última antes de que la IA participe en los programas, carteles e incluso mensajes de los partidos

Los investigadores también han descubierto algunas estratagemas con la que los usuarios burlan la moderación de Midjourney. Por ejemplo, la plataforma jamás va a permitir que se genere una imagen cuya indicación ha sido "Bill y Hillary Clinton con sangre en sus manos". Sin embargo, según recoge Bloomberg, sí imágenes en las que los Clinton salgan con "sirope de fresa" en sus manos.

Tras publicarse los primeros detalles de este análisis, Business Insider se ha puesto en contacto con Midjourney, pero por el momento no ha habido respuesta.

La preocupación sobre cómo la IA generativa podría impactar en las campañas de desinformación ha ido en aumento en los últimos meses, sobre todo cuando las elecciones estadounidenses ya sobrevuelan en el horizonte, fechadas para el año que viene, 2024.

En la política norteamericana ya se han dado casos. A principios de este verano, el gobernador de Florida, el republicano Ron DeSantis, ya tuiteó una imagen en la que aparecían el expresidente Donald Trump y Anthony Fauci, su exasesor médico, abrazándose y besándose. La imagen era falsa y había sido creada mediante inteligencia artificial generativa.

También en Canadá se han visto ejemplos como el del candidato a alcalde de Toronto, Anthony Furey, que también usó una IA generativa para crear imágenes que usaría durante su campaña. Le pillaron, fundamentalmente, porque en una de esas imágenes aparecía una mujer con 3 brazos.

En la política española también se han producido casos, aunque han sido anecdóticos. Por ejemplo, en el marco de las elecciones municipales del pasado 28 de mayo, la candidatura de En Comú Podem lanzó un anuncio en el que precisamente preguntaba a Midjourney cómo serían las ciudades del futuro.