El furor por una IA sin límites éticos está levantando nuevas barreras a la igualdad: así se enquista el machismo entre los algoritmos
Business Insider España
- El auge de modelos de inteligencia artificial que generan textos e imágenes han despertado el hype sobre esta tecnología.
- Sin embargo, varias expertas llevan advirtiendo desde hace tiempo de los riesgos que entraña esta tecnología si no se despliega con estándares éticos.
- La IA es capaz de reproducir sesgos sociales y discriminar a colectivos. La IA puede levantar nuevas murallas en la lucha por la igualdad.
Hace 10 años que Her llevó a la gran pantalla una historia de amor entre un humano y una inteligencia artificial generativa. Entonces, la idea de ponerte un auricular y llegar a tener un romance con un sistema informático sonaba a ciencia ficción. Pero eso fue hasta que, hace un par de semanas, el chatbot de Microsoft le dijo "te quiero" a un usuario.
La voz de Siri, las recomendaciones de Netflix, ChatGPT o los anuncios de empleo… Los algoritmos han colonizado la vida cotidiana, y lo visto en Her está más cerca que nunca de hacerse realidad.
Pero Her también fue una película donde la IA era una mujer objetivizada y convertida en máquina. Y no sería la última: un año después, Ex Machina contaba la historia de Ava, otro androide de apariencia femenina, creado por un multimillonario que jugaba a ser dios.
El problema de una inteligencia artificial concebida a imagen y semejanza de sus creadores es que, desgraciadamente, tiende a replicar sus mismos sesgos. Los ejemplos se pueden encontrar en incluso decisiones de diseño que en un principio pueden parecer inocentes. ¿Te has dado cuenta de que la mayoría de asistentes de voz tienen voces y nombres femeninos?
Pero en otras ocasiones esos sesgos se pueden encontrar en los datos con los que se entrena un modelo de IA, o en sus propios sistemas de decisión. Si no era bastante con combatir el machismo, ahora también toca luchar contra el sexismo de los algoritmos.
Los sesgos en los algoritmos pueden afectar en muchos ámbitos de la vida diaria. Buscas empleo en una plataforma digital, y te das cuenta de que el algoritmo solo te recomienda determinadas ofertas de trabajo peor remuneradas que otras que sí reciben los hombres. Pides un crédito en el banco, y las opciones que recibes a través de la app son menos ventajosas.
Incluso a la hora de hacer match con una potencial pareja en una aplicación de citas. Los sesgos raciales, de clase o de género perpetúan desigualdades que movimientos como el feminista llevan años tratando de erradicar.
A veces, ni siquiera es una cuestión de sesgos en los algoritmos: es una cuestión de patriarcado en el diseño. Ya se han visto casos de deepfakes —sistemas capaces de incrustar un rostro en un vídeo— generando porno vengativo, o directamente pornografía generada por inteligencia artificial.
La IA es una tecnología prometedora desde hace décadas. Hoy, su capacidad para transformar para siempre la forma en la que se trabaja o se vive parece más evidente que nunca. Pero su potencial transformador no será el mismo en una sociedad que todavía no logra ser igualitaria.
Cómo la discriminación 'salta' de los humanos a los modelos informáticos
La IA no es humana, pero eso no significa que sea imparcial o que no cometa errores humanos.
"Los algoritmos son opiniones que se convierten en código. La gente tiende pensar que los algoritmos son objetivos, verdaderos y científicos, pero es un truco de marketing. Todos tenemos prejuicios, y por eso se puede codificar el sexismo o cualquier otro tipo de fanatismo", resume Cathy O’Neil, doctora en Matemáticas por Harvard en esta charla TED.
En realidad, los algoritmos son meras operaciones matemáticas. Pero la inocencia de un cálculo termina en el momento en el que los factores que se involucran en el mismo tienen algún tipo de sesgo. Lo más habitual es achacar esos posibles sesgos a la base de datos con la que trabaja el algoritmo, pero la realidad es mucho más compleja.
Solo en el diseño de esos algoritmos y de la muestra con la que trabajan pueden inferirse sesgos cognitivos humanos. Estos sesgos no son los discriminatorios, no son sesgos raciales, de clase o de género, pero estos sesgos cognitivos pueden ser la base de la que nazcan las discriminaciones, según se concluye de esta reciente investigación de Deusto.
¿Cómo llega entonces la discriminación a estos modelos informáticos? Puede ser cosa de la muestra o puede ser que los propios científicos que desarrollan estos modelos "incorporen sus propios sesgos", refleja Andrés Visús, profesor en ESIC y director de desarrollo de negocio en PredictLand.
En el primer caso, cuando la información de la que disponen los algoritmos parte de una base de datos desigual, sus decisiones estarán sesgadas.
En 2019, cuando Apple sacó su nueva tarjeta de crédito de la mano de Goldman Sachs, el programador y autor David Heinemeier Hansson compartió un hilo de Twitter detallando cómo le habían ofrecido 20 veces más de límite de crédito a él que a su esposa, a pesar de haber realizado la declaración de impuestos de forma conjunta y de que ella tenga un nivel de crédito más alto.
"Muchas veces las mujeres estamos infrarrepresentadas en los servicios bancarios porque hemos pasado más tiempo en casa o porque los hombres históricamente han sido los que han tenido un rol en las finanzas", ha explicado en ocasiones anteriores Gema Galdón, socia fundadora y directora de investigación de Éticas, su compañía de auditoría de algoritmos.
Estos problemas se dan incluso en las IA generadoras de texto o imágenes como ChatGPT. Aunque OpenAI, para entrenar su enorme modelo de procesado de lenguaje natural empleó millones de líneas de texto de la red, "el tamaño no garantiza la diversidad de la muestra", como recuerda Timnit Gebru, fundadora de otra organización que se dedica a la auditoría algorítmica.
Eso implica que la base de datos, aunque en apariencia sea objetiva, induzca a un modelo de IA a concluir que las mujeres son peores pagadoras, generando esa desigualdad. Para evitar que cosas así sucedan, es fundamental auditar tanto las bases de datos como los sistemas algorítmicos, y que en estos se introduzcan mecanismos de compensación para evitar esas discriminaciones.
Así perpetúa la desigualdad laboral una IA con sesgos: ofrece menos ofertas de trabajo y con peores sueldos
Los problemas con estas IA sesgadas y no auditadas no se ciñen únicamente al ámbito financiero. Muchos algoritmos que recomiendan y lanzan ofertas de trabajo a candidatos que buscan empleo en plataformas digitales también generan problemas. Como resultado, las mujeres ven cómo se levanta una barrera más a la hora de optar a un trabajo. Una barrera que los hombres no sufren.
En 2021, se descubrió que los anuncios de empleo en Facebook estaban sesgados por género, incluso cuando los anunciantes buscaban una audiencia equilibrada.
"Si la base de datos bebe de las estadísticas de mercado laboral, donde se constata que las mujeres concentran empleos a jornada parcial, en sectores más precarizados… el algoritmo puede llegar a asumir que, por ser mujer —por hacer clic en la casilla de Mujer—, la probabilidad de tener ese tipo de empleo es mayor".
Así lo explica Verónica López, consultora de Analistas Financieros Internacionales (Afi), donde coordina la iniciativa ClosingGap: ser mujer crea sobre ti "un mayor perfil de riesgo".
Por si fuera poco, las ofertas que buscan mujeres también están peor pagadas. En 2015, un estudio de la Universidad de Carnegie Mellon demostró que el número de mujeres recibiendo anuncios en Google Ads con ofertas de empleo de más de 200.000 dólares brutos al año era significativamente menor que el de hombres.
Este sesgo no solo aparece en anuncios de empleo. También están presentes en los algoritmos de procesos de selección de personal. En 2018 Amazon tuvo que desactivar una IA automatizaba el proceso de selección de personal de su departamento de Recursos Humanos porque estaba discriminando a mujeres.
"Los estudios muestran que este tipo de segmentación tiene implicaciones para el número de mujeres que acceden a puestos de trabajo en los campos de la ciencia, la tecnología, la ingeniería y las matemáticas (STEM) y, por tanto, para el diseño y el desarrollo de sistemas de IA", avisa un informe de la OCDE y la UNESCO.
La explicación, coincide Visús, es que "si la IA hace un cribado sobre esta base de datos (descompensada entre hombres y mujeres), su conclusión será que los científicos que dan mejor resultado son hombres".
Es la pescadilla que se muerde la cola: las mujeres están infrarrepresentadas en la industria tecnológica y científica, lo que a su vez las penaliza a la hora de conseguir empleos en estos campos, por lo que su representación no aumenta.
Aquí es donde entra en juego el factor humano: los científicos detrás de los algoritmos pueden cortar este círculo vicioso. Pero, ¿qué pasa cuando estos científicos incorporan su propio sexismo?
Un riesgo presente incluso en tu app de citas
Una IA con sesgos discriminatorios también puede afectar a tus incipientes relaciones de pareja, estableciéndolas desde una situación de desigualdad. Efectivamente, Tinder no se queda fuera de este juego. La aplicación de citas utiliza un sistema interno por el que puntúa a sus usuarios en función de lo "deseables" que pueden llegar a ser.
Como cuenta la periodista francesa Judith Duportail en El algoritmo del amor, la clasificación incluye aspectos como la belleza, el género, los estudios, trabajo o condición social. Además, la vara de medir no es igual para todos. Duportail señala que la aplicación da mayor puntuación a hombres con alto poder adquisitivo y estudios, mientras que mujeres con ese mismo perfil son penalizadas.
Las reglas Tinder quedan así más que sesgadas: puntuación alta para hombres acomodados y mujeres pobres para generar así parejas en situación de desigualdad, fomentando una posible dependencia económica.
La cosa no queda ahí, la belleza y la edad también puntúan diferente ambos sexos, favoreciendo la juventud en la mujer y una mayor madurez en el hombre.
El machismo que también se vuelca en las redes sociales
Pero las raíces del sexismo en los algoritmos van mucho más allá. También se extienden a las aplicaciones de uso cotidiano, como las redes sociales, donde su presencia es más discreta pero no por ello menos preocupante.
En Instagram, el algoritmo juega un papel decisivo, ya que selecciona las publicaciones que considera más relevantes para el usuario y las coloca en primeras posiciones del feed y de las pestaña Explorar, lo que aumenta su difusión. Esto incluye tanto contenidos de amigos como de otras cuentas.
Meta, propietaria de la plataforma, ha explicado numerosas veces el funcionamiento de sus algoritmos de recomendación de contenidos, y defendido su transparencia, pero se teme igual que su funcionamiento responda a dinámicas sexistas o de desigualdad.
Al mismo tiempo, hay reivindicaciones ya históricas que protestan por la censura automatizada de imágenes de pezones femeninos pero no masculinos, incluso si son madres amamantando a sus hijos.
Un estudio de 2020 demostró que en Instagram las imágenes de mujeres en bikini o semidesnudas tienen más alcance. Aunque esto afecta también a hombres, también genera mayor presión en las mujeres. La escritora Ely Killeuse ha denunciado que en "casi todas" las imágenes que ha recibido más interacciones, ella va en bañador.
En otros casos recientes, mujeres jóvenes como Michelle Crockett y Ali Anderson, de 18 y 19 años, vieron cómo sus cifras de usuarios se multiplicaron tras subir fotografías en bikini que súbitamente consiguieron millones de likes. Esto hizo que les llovieran ofertas para convertirse en influencers sin desearlo.
Pero si hay una plataforma que ha crecido vertiginosamente en los últimos años gracias a su algoritmo, esa es TikTok. Esta app proporciona a sus más de 1.000 millones de fieles entretenimiento constante a través de los vídeos escogidos por su algoritmo, que va aprendiendo del usuario según su actividad.
Este funcionamiento y la tendencia a mostrar contenidos que el usuario no busca expone a los creadores a recibir un mayor número de críticas y de trolls, que tienden a ser más crueles con las mujeres con insultos y argumentos machistas y de acoso.
La tiktoker de videojuegos nintendo.grl, con 9 millones de seguidores, denunció que ha llegado a tener problemas para dormir debido a la ansiedad por los comentarios negativos y el acoso recibido a sus contenidos, como recogía The Washington Post.
Una de las mecánicas más populares de TikTok son los retos de todo tipo. Entre ellos está la reciente tendencia conocida como bodycheck, que consiste en enseñar en vídeo partes del cuerpo y que ha sido criticado por la presión a la que somete a los usuarios, hombres y mujeres, por tener cuerpos perfectos, delgados y canónicos.
El algoritmo de TikTok ha llevado estos contenidos a las pantallas de millones de personas. El #bodycheck suma 88 millones de visualizaciones, pero le superan ampliamente algunas de sus variantes: #jawlinecheck tiene 610 millones de visualizaciones a vídeos de mandíbulas; #smallwaist (cintura estrecha) tiene 958 millones; y #sideprofile (imagen de perfil), 1.400 millones.
El furor de la IA generativa dispara el 'entusiasmo' por la cosificación de las mujeres: 'deepfakes', porno IA y novias virtuales
REUTERS/Yuriko Nakao
El problema del sexismo en la inteligencia artificial no se ubica únicamente en sus bases de datos o en sus modelos de automatización de decisiones. Puede estar en principios de diseño que, sin demasiada reflexión, han disparado el entusiasmo por una inquietante cosificación de las mujeres.
Una aplicación sexista de la IA que preocupa desde hace años es el uso del deepfake en la creación de vídeos pornográficos. Esta tecnología es capaz de reemplazar la cara y la voz de las personas con cada vez más sencillez y realismo, y ya se ha utilizado para acosar a mujeres famosas e influencers.
"No sabéis lo que se siente al ver imágenes tuyas haciendo cosas que nunca has hecho y que después se las manden a tu familia", denunció QTCinderella, una influencer de videojuegos cuya imagen se utilizó para crear deepfakes pornográficos, como recogió The Washington Post.
Otro de los horizontes perturbadores de los algoritmos recuerda precisamente a lo que mostró Her. Es el caso de la app para smartphones Replika, que permite a los usuarios crear chatbots de texto.
Algunos usuarios están creando novias virtuales a través de Replika, y lo que es aún más preocupante: las están maltratando y utilizando lenguaje abusivo, como informa Futurism.
A esto, hay que añadir que ya hay usuarios generando con algunas IA generadoras de imágenes dibujos y recreaciones pornográficas de toda índole, preocupando incluso a las autoridades y a los propietarios de esos motores.
No solo es algo preocupante en sí mismo por sus parecidos con la ciencia ficción, sino por las implicaciones que puede tener para las mujeres del mundo real si llegan a perpetuarse este tipo de comportamientos depredadores entre los hombres.
Un mundo de hombres para hombres
En realidad, el problema de la IA es el problema de la industria tecnológica: el sector sigue siendo un mundo de hombres y, por tanto, se vuelcan muchos sesgos machistas y sexistas en las nuevas tecnologías.
Datos como que apenas el 13,83% de los autores de miles de artículos sobre IA son mujeres o que, de un estudio con 287 compañías que trabajan con IA y machine learning, solo 13% de los altos puestos son ocupados por mujeres, dejan claro qué es lo que está pasando.
Así, se conforma una estructura en desequilibrio que va desde los puestos de responsabilidad, hasta la falta de referentes y consecuente brecha de género entre estudiantes. El informe Igualdad en cifras del Ministerio de Educación apunta que solo el 29% de los jóvenes matriculados en carreras de ingeniería son mujeres.
En carreras informáticas la situación es aún más preocupante: únicamente el 13,4% son mujeres. Con todo, no extraña que apenas el 23% los trabajadores del sector TIC son mujeres, según un estudio del Observatorio Nacional de las Telecomunicaciones y la Sociedad de la Información (ONTSI) junto al Instituto de la Mujer.
La desigualdad va desde las bases hasta la punta del iceberg, forjando toda la estructura tecnológica. Las consecuencias de esto no hacen más que alimentar esa misma armadura. Si faltan mujeres, falta perspectiva de género.
Claro ejemplo de ello es cómo los algoritmos censuran los cuerpos femeninos por considerarlos más obscenos que los masculinos, pese a tratarse de imágenes similares. Incluso en imágenes con un sentido médico: los algoritmos que no están debidamente auditados no marcan ni excepciones ni límites.
Una fotografía que muestra cómo hacer un examen clínico de mama fue clasificada por la IA de Google con una puntuación alta en "atrevimiento". La IA de Microsoft apostaba en un 82 % que la imagen era de "naturaleza explícitamente sexual", mientras Amazon la clasificó como "desnudez explícita", como reflejó en esta información The Guardian.
Más allá de la representación: ética y regulación
Freepik
Faltan mujeres en el sector, pero obviamente hay. Una de las que ha revolucionado el mundo en los últimos meses es Mira Murati, directora de tecnología de OpenAI, que además lidera equipos de DALL-E, creadora de herramientas como ChatGPT.
El chatbot de IA se ha hecho de lo más popular en los últimos meses. Tanto que varios centros educativos han llegado incluso a prohibirlo. En este sentido, Murati admite en una entrevista con TIME la necesidad de regular la IA. "La tecnología nos moldea y nosotros la moldeamos", apunta.
"Hay muchas cuestiones éticas y filosóficas que debemos considerar. Y es importante que traigamos diferentes voces, como filósofos, científicos sociales, artistas y personas de las humanidades", propone, entendiendo que la IA " puede ser mal utilizada, o puede ser utilizada por malos actores".
Por ello defiende que, al margen de la empresa privada, se necesitan "más aportes que vayan más allá de las tecnologías, definitivamente reguladores, gobiernos y todos los demás" y advierte que, de esperar más, quizás la sociedad llegue tarde.
En esta línea, además de más mujeres y referentes, se necesitan expertas en perspectiva de género que trabajen mano a mano con los equipos, como viene recomendando la Unesco desde 2020.
Elena Gil es la directora global de Producto y Operaciones de Negocio IoT y Big Data de Telefónica Tech. Enfatiza en el papel que desempeña la IA en la transformación digital, pero se suma advirtiendo que estas tecnologías deben "enfocarse en las personas y desarrollarse de manera ética e inclusiva".
"El fomento de la diversidad en los equipos que la desarrollan y entrenan los algoritmos es imprescindible", desarrolla en declaraciones a Business Insider España. "El análisis de los sesgos en el ámbito de la IA debe hacerse en todas las fases del proceso para tener la capacidad de corregir comportamientos históricos y mejorar su imparcialidad".
Dafna Feinholz, jefa de Bioética y Ética del programa de Ciencia y Tecnología de la Unesco, señala el peligro de no tratar los datos desglosados por sexo, ya que invisibiliza las experiencias de las mujeres. Igualmente, apunta que los equipos deben tener en todo el ciclo de vida los datos la intención de cerrar las brechas.
"Es imprescindible que no bajemos la guardia. No podemos dejar al 51% de nuestro talento femenino fuera del diseño de un modelo de país y de un medio global que está aún por desarrollarse", apuntala Carme Artigas, secretaria de Estado de Digitalización e Inteligencia Artificial en una reciente entrevista también con este medio.
El problema es que, si bien son precisamente ellas las que más acento ponen en la necesidad de garantizar un desarrollo tecnológico con ética y control, a menudo su voz es ignorada. Sin ir más lejos, Timnit Gebru, que hace escasos días advertía de los problemas con el entrenamiento de ChatGPT, era responsable del equipo de ética en IA de Google.
Junto a Gebru, Margaret Mitchell era la codirectora de la unidad. El gigante del buscador despidió a ambas, descabezando al equipo, en 2020 y 2021. Una decisión paradójica, teniendo en cuenta que el foco de la compañía del buscador es este 2023 mejorar su IA para no perder la carrera que ahora compite con Bing y OpenAI.
Otros artículos interesantes:
Descubre más sobre Roberto Corrales, Victoria Bustamante, Inma Benedito, Alberto R. Aguiar, autores/as de este artículo.
Conoce cómo trabajamos en Business Insider.