Desinformación alimentaria, discriminación a mujeres e hipervigilancia gubernamental: todo lo que destapa un observatorio de algoritmos en su último informe

El algoritmo que etiqueta alimentos en función de si son más o menos saludables, Nutriscore, puede generar desinformación y discriminación socioeconómica a algunos usuarios. Un modelo que emplea LinkedIn para mostrarte ofertas de trabajo que puedan adecuarse a tus intereses y currículum también fomenta otro tipo de discriminación, esta vez basada en tu género.

Tensor, el modelo en el que varios países europeos (entre ellos España) confían para prevenir actividades terroristas, puede suponer un menoscabo a la democracia y una amenaza a la privacidad de los ciudadanos, además de fomentar la vigilancia por parte de los estados. Y otro algoritmo usado por las agencias de control fronterizo de Europa tiene sesgos que discrimina por raza.

Estas son algunas de las principales conclusiones del primer informe anual del OASI, el Observatorio de Impacto Social de Algoritmos, que puso en marcha en octubre del año pasado Eticas, una firma especializada en consultoría y auditoría de sistemas de inteligencia artificial fundada por la española Gemma Galdon.

Un año después del lanzamiento de este OASI, que nació con 57 algoritmos escrutados, muchos de ellos en uso por instituciones españolas, Eticas alcanza nuevas conclusiones. Lo hace tras sumar ya 113 algoritmos analizados y detectar los potenciales riesgos que estos sistemas de IA entrañan para usuarios y ciudadanos afectados por estos modelos.

El escepticismo de Gemma Galdon ante las futuras regulaciones tecnológicas, que pueden caer en los mismos errores del RGPD: "4 años después seguimos en el inmovilismo"

Con todo, Eticas reconoce que "en este momento" los análisis y la muestra de algoritmos que ha recopilado sus investigadores "es un ejemplo parcial de toda la escena algorítmica", "una muestra sesgada y centrada en esos algoritmos que han recibido más atención pública o están aplicándose en países occidentales".

"Tenemos aquí una trampa de la transparencia: solo podemos hacer más transparentes aquellos modelos que ya son visibles", lamenta el informe, que puedes consultar aquí. "Confiamos que podamos superar o mitigar esa limitación forjando colaboraciones con aquellos que puedan tener conocimiento de sistemas similares y existentes en otros países y en otras regiones".

De esta manera, este primer informe anual de OASI nace con la vocación de "generar diálogo y conversación", con la pretensión de que las futuras incorporaciones a este observatorio puedan reflejar una mayor diversidad geográfica. "Aun siendo una muestra parcial, pensamos que el Registro del OASI es una imagen útil del campo algorítmico".

Usos policiales, privacidad en peligro y discriminaciones: las conclusiones del informe

De los 113 algoritmos analizados, el 64% de ellos están aplicándose en administraciones e instituciones del sector público, mientras que el resto se han desplegado en el sector privado. Solo un pequeño porcentaje de la muestra corresponde con modelos de inteligencia artificial que aparecen en ambos sectores.

"Esto puede ser indicador de que los algoritmos que emplean las autoridades públicas acaban recibiendo más visibilidad, tanto por la obligada transparencia de las mismas como por la mayor atención que reciben los gobiernos por parte de los medios de comunicación", sugiere el informe de Eticas.

Otra conclusión es que la mayoría de algoritmos que se están desplegando responden a necesidades policiales, con más de 30 modelos de IA destinados a esos fines. Le sigue de cerca los algoritmos dedicados a servicios sociales (valorar por ejemplo a un ciudadano por si puede acceder o no a algún tipo de ayuda), y después vienen algoritmos asociados a la búsqueda de empleo.

La prevalencia de algoritmos enfocados al ámbito policial y militar, además, posiblemente "se subestima" ya que "las fuerzas de seguridad, especialmente las militares y los servicios de inteligencia, emprenden la mayor parte de sus operaciones lejos del escrutinio público".

Pero una cosa es el ámbito competencial y otra cosa es el uso finalista que pueden tener esos algoritmos. Esa diferencia la marca el propio informe que destaca cómo la categorización y el perfilado de personas es el tipo de uso más recurrente, en al menos 60 de los modelos listados. Le siguen algoritmos que pretenden predecir el comportamiento humano, son 44 de ellos los listados.

También hay modelos de IA que buscan evaluar el comportamiento humano. "Preocupantemente, estas 3 actividades requieren de una comprensión compleja, contextualizada culturalmente y no automatizada, para atender a la gran variedad de circunstancias que varían el comportamiento de las personas", destaca Eticas.

Por eso esos algoritmos presentan riesgos elevados de reproducir los sesgos humanos presentes en las bases de datos que han servido para entrenarlos.

"Silicon Valley está matando la innovación": por qué hay que empezar a auditar los algoritmos a las tecnológicas para evitar distopías, según una experta

Además del ámbito competencial y del uso final de estos algoritmos, el informe anual del OASI también identifica los riesgos e impactos negativos documentados de los algoritmos listados. "No es una tarea fácil, ya que nuevos impactos posibles siguen emergiendo a medida que más y más algoritmos se van implementando con objetivos diversos en contextos sociales diferentes".

La principal discriminación que generan los algoritmos analizados es discriminación socioeconómica (fomentada por 59 de los modelos de IA analizados en el OASI). Le sigue la discriminación racial (en 39 de ellos), la discriminación de género (en 19), la discriminación religiosa (en 5) y la discriminación por edad (en 2). La IA también puede ser racista, misógina y gerontófoba.

Estas discriminaciones pueden producirse desde el momento en el que en portales de búsqueda de empleo las usuarias detectan que perciben menos ofertas que los candidatos hombres, o incluso a la hora de pedir una hipoteca ante una sucursal bancaria, el algoritmo de la entidad financiera no recomienda conceder el préstamo a una mujer.

Casos como los descritos se han documentado. Los modelos de IA en entidades financieras, por ejemplo, pueden llegar a concluir que las mujeres entrañan un mayor riesgo de que no devolverán el dinero porque históricamente ellas han estado menos bancarizadas que ellos. Ese sesgo sería fácilmente subsanable de haberse auditado dicho algoritmo y detectado el sesgo que le hace errar.

Además de las discriminaciones, el primer informe anual del OASI de Eticas también incide en otros impactos negativos que pueden generar estos sistemas de inteligencia artificial. Muchos algoritmos suponen "amenazas a la privacidad" (esta amenaza está presente en 35 algoritmos listados), o "vigilancia de estados" (en 12).

Es en este tercer análisis de Eticas donde aparecen categorías de impactos negativos como por ejemplo la generación de la desinformación (presente, por ejemplo, en el algoritmo que recomienda contenidos en TikTok y en otras redes sociales) o la radicalización, así como la manipulación y los cambios de comportamiento de los usuarios.

La incoherencia europea ante el futuro reglamento de la IA

Todo el análisis permite a Eticas enumerar varias tendencias entre las que destaca "la evolución" en la que los modelos de IA están pasando de "entornos destinados al entretenimiento", como las redes sociales, a entornos "de alto riesgo", como servicios sociales u operaciones policiales. Por supuesto, esto supone un aumento en el riesgo real de estos modelos.

Eticas concluye que las redes sociales han sido las que más han contribuido a la propagación de desinformación y polarización política, y aunque cada vez hay mayor "conciencia pública" ante los riesgos de los algoritmos y los medios ya hacen una cobertura equilibrada sobre los mismos (por ejemplo, atendiendo a los desafíos de riders o de la gig economy), todavía hay camino por andar.

"La eficiencia y el ahorro siguen siendo las palabras claves con las que las administraciones justifican el uso de algoritmos", explica el informe. "Pero muchos ejemplos listados en el OASI revelan cómo los algoritmos pueden ser problemáticos reforzando sesgos y generando ineficacias en el proceso de toma de decisiones" en los gobiernos.

La respuesta de Eticas ante esta problemática es seguir proponiendo auditorías de algoritmos. Expone el caso de auditoría externa del algoritmo VioGen que las fuerzas policiales españolas utilizan para atender a mujeres víctimas de violencia de género. "La auditoría tuvo que ser externa porque las autoridades españolas no compartirían datos del algoritmo", lamentan.

Los desafíos para conseguir una IA sin sesgos como a la que aspira Europa: "Hay un fallo de mercado, se intenta vender el mismo software a todo el mundo"

Sin embargo, sí concluyen que de las personas afectadas por ese algoritmo que fueron entrevistadas en el proceso de auditoría, el 80% de ellas reconocieron "una experiencia problemática" con el sistema de IA, y el 35% de ellas "no fueron informadas de las conclusiones" que el algoritmo estaba extrayendo sobre su caso.

Así, la auditoría, cuyos resultados Eticas compartió el pasado 8 de marzo, Día Internacional de la Mujer, sirvió para que se llevaran a cabo varias iniciativas parlamentarias preguntando sobre el uso de este algoritmo VioGen y el debate se colase en primera línea ante la opinión pública.

Por esta razón, la empresa de Gemma Galdon (que también tiene una rama convertida en fundación) asegura estar auditando de forma también externa algoritmos de reconocimiento facial en plataformas como YouTube o TikTok, para determinar cómo estos modelos informáticos afectan a comunidades como la migrante o a personas discapacitadas.

Eticas también dedica unas líneas al futuro Reglamento de Inteligencia Artificial que se cocina en Bruselas, y que contará dentro de poco con un inédito sandbox regulatorio en España. Europa quiere ser vanguardia a la hora de regular algoritmos, pero obvia que es la propia institución comunitaria la que ha fomentado, incentivado o financiado el uso de esos modelos en ámbitos críticos.

Mientras Europa promete con su futuro reglamento un mercado de inteligencia artificial en línea con los valores del continente, ha financiado el uso de estos modelos en ámbitos como el de las agencias de control fronterizo o el militar. "Es importante atender a esta brecha", incide la compañía.

"Si no se atiende, Europa no será capaz de convertirse en un actor de vanguardia ante una IA responsable y en la que confiar. No lo conseguirá si no muestra una capacidad para dar ejemplo y conseguir que el mercado de la IA europeo esté en línea, de manera efectiva, con esos valores europeos", zanja.