Cómo nacen los sesgos tecnológicos que combate Eticas, la consultora que audita algoritmos a empresas e instituciones para evitar que sean discriminatorios

"Vivimos en un mundo racista y machista". Gemma Galdón detallaba en una reciente entrevista con Business Insider España cómo los algoritmos nunca son neutrales, cómo los programadores y desarrolladores "codifican la realidad" y cómo trata Eticas Research & Consulting, su firma, de auditar la tecnología para que no repercute negativamente en la sociedad.

La experta también tuvo tiempo para detallar cómo nacen los sesgos en tecnología y cómo precisamente el modelo de Silicon Valley ha acabado "polarizando" e introduciendo "emoción" en todo debate que rodee el mundo de la técnica y la investigación.

Explica Galdón que los sesgos tecnológicos son el fruto de "varias dinámicas que se producen a la vez". "Una es la dinámica social". "Hay muchas dinámicas de exclusión de grandes colectivos; desde mujeres a personas no blancas e incluso mayores. Encontramos lógicas de discriminación que muchas veces no nos esperaríamos", apunta.

Otra dinámica es "el modelaje y la propia forma de funcionar que tienen los algoritmos". "Lo que suele hacer un algoritmo es mejorar y encontrar patrones. Entender qué es lo más numeroso", enfatiza. "Por eso, en algoritmos de banca a las mujeres siempre se nos asigna más riesgo. Aunque como categoría podamos ser mejores pagadoras, estamos menos bancarizadas, y al no ser mayoría, se nos etiqueta con más riesgo".

"Silicon Valley está matando la innovación": por qué hay que empezar a auditar los algoritmos a las tecnológicas para evitar distopías, según una experta

Por suerte, "todo esto es subsanable y se puede arreglar dentro del algoritmo". "Si encontramos qué datos necesita un algoritmo, lo podemos compensar. Si sabemos qué colectivos pueden estar siendo perfilados de una forma discriminatoria, podemos arreglarlo. Eso es lo que hacemos cuando intervenimos en nuestras auditorías".

"Silicon Valley ha creado un público muy polarizado"

A pesar de la evidencia, Gemma Galdón reconoce que el debate sobre la discriminación y la tecnología todavía no ha madurado demasiado. "Se ha organizado de tal forma que lo que hace es crear filias y fobias. No hay términos medios", lamenta. "Además, entender un algoritmo no es algo que esté al alcance de todo el mundo".

La experta y fundadora de Eticas señala a un responsable. "Silicon Valley", continúa, "ha creado un público muy polarizado que comprende muy poco de qué hablamos. Como en un partido de fútbol". Según la experta, el debate es si crees o no en la tecnología, como si fuese una cuestión de magia. "Pero nadie la entiende".

Esta Inteligencia Artificial de la policía británica es capaz de predecir qué casos se pueden resolver, pero es incapaz de evitar los sesgos

Rápidamente matiza. "No hay que exigirle al ciudadano que sepa de todo aquello que hace uso", aclara. "Es como pedirle a la gente que sepa de procesos químicos para poder ir a una farmacia". Pero Gemma apunta a la necesidad de crear "mecanismos de regulación para asegurarnos de que la gente, al emplear la tecnología, pueda saber si es sana, si no, si puede tener un impacto, y de qué tipo".

Una suerte de prospecto para usar tecnología.

Galdón también apunta a aquellos que confían ciegamente en la tecnología. Es una herramienta, no un fin en sí misma. "Es muy difícil que mucha gente entienda que todavía estamos muy lejos de la robótica. Si una persona ha sido víctima de una injusticia legal, y piensa que un algoritmo puede sustituir a los jueces, pensará que el algoritmo será más infalible que un magistrado". "Lo que hemos visto hasta ahora es que muchas veces los sistemas técnicos juntan lo peor del sesgo humano con lo peor del sesgo tecnológico".

"Hay candidez en muchos discursos tecnológicos"

Cuando se habla de que un algoritmo puede incluir lógicas discriminatorias, se habla del proceso por el cual un automatismo informático es capaz de dejar a un ser humano sin una prestación social pública. "Los equipos que hacen algoritmos son mayoritariamente hombres blancos del norte. No tiene por qué ser un problema, pero históricamente han tenido más dificultades para apreciar quién no está".

Gemma se refiere a que en el caso de mujeres o de personas "con un background ético diferentes" sería más normal que se les encendiese "una lucecita" al hacerse una simple pregunta cuando crean un algortimo: "¿Y qué pasa con la gente como yo?". No han sido pocos los ejemplos por los cuales rostros de personas negras han sido infrautilizados para entrenar a redes neuronales adversarias que forman parte de un sistema de reconocimiento facial con inteligencia artificial, por ejemplo.

La verdadera amenaza de la inteligencia artificial son las personas detrás de los algoritmos, según una ingeniera del departamento científico de Google

"Un equipo de hombres blancos formados en cuestiones como sociología o antropología no tendrían ese problema", apostilla Galdón. "Los ingenieros codifican la realidad", a fin de cuentas.

A pesar de estos mimbres, Galdón insiste en que todavía no ha habido la suficiente formación "sociotécnica" para que a día de hoy existan personas en puestos de responsabilidad capaces de atender a estos matices. "El discurso de la neutralidad tecnológica sigue siendo muy amplio y creo que hay mucha candidez en algunos discursos tecnológicos. Hay muy poca comprensión de cómo funciona realmente la tecnología".

"Tu producto puede ser neutral, pero está en un contexto que no lo es. Nunca". "Un cuchillo, ¿es bueno o es malo? Puede servir para cortar cadenas o para matar a una persona. Pero es evidente que el cuchillo aparece cuando el ser humano empieza a consumir carne: es el reflejo de una dinámica socioeconómica", explica.

"Tú puedes decir que un cuchillo es neutral, pero no puedes negar que la sociedad que da forma a un cuchillo es una sociedad que necesita de un cuchillo, por lo que desde ese mismo momento la neutralidad es falsa".

Cómo se audita un algoritmo

La analogía con una auditoría contable es absoluta.

"Me mandan documentos en los que los clientes detallan cómo se ha definido el problema a solucionar y cómo hemos transformado ese problema en datos entrantes". Gemma Galdón pone de ejemplo un problema: cómo ordenar la atención a pacientes en una sala de espera de un hospital. "Una universidad en Estados Unidos descubrió que el algoritmo de un hospital priorizaba primero a los pacientes que más dinero habían gastado en ocasiones anteriores en el centro".

Una investigadora del MIT que analiza software de reconocimiento facial sostiene que eliminar los sesgos de la Inteligencia Artificial es una cuestión de prioridades

Ahí ya había una disfunción. El siguiente paso de la auditoría es identificar qué colectivos pueden ser los vulnerables en el mundo real, y cuáles pueden ser vulnerabilizados por el algoritmo. "A través de estadísticas, equilibramos los algoritmos".

Una de las últimas fases de una auditoría tecnológica es determinar cómo afecta el algoritmo a una organización, ya sea una empresa privada o una administración pública. Se han dado casos en una misma firma de trabajadores que confiaban ciegamente o desconfiaban absolutamente del algoritmo. "Se junta lo peor del sesgo algorítmico con lo peor del sesgo humano".

Se tratan de algoritmos que pueden determinar si el cliente de una entidad bancaria puede o no puede recibir un préstamo hipotecario. Un algoritmo debe ser una herramienta que apoye a los trabajadores, no algo que confirme sus prejuicios. "Si eso ocurre en empresas, los usuarios están vendidos: nadie controla cómo se toman las decisiones más importantes".

No salimos mejores de la pandemia

Una constante en medios especializados ha sido la de titular que la pandemia ha impulsado la digitalización de diversos sectores económicos. Gemma Galdón lo discute. "Un amigo dice que la pandemia ha sido como un examen sorpresa y el resultado en todos los sectores ha sido el de un suspenso absoluto. En el tecnológico, el que más".

"Llegas a una pandemia cuando crees que estás a punto de dominar la inteligencia artificial y descubres que los estados no pueden contar ni a sus muertos". "Las infraestructuras tecnológicas han fallado. No hay control. No se han hecho políticas de datos. Ni en este país, ni en ninguno", lamenta.

A eso hay que sumar cómo la tecnología continúa centralizada en grandes multinacionales. "Es un fallo de mercado. Hay demanda para contar con alternativas a Amazon o Facebook. Pero no hay oferta. Lo que todo el mundo quiere es ser el nuevo Facebook". Sustituir. No competir. "Nadie busca cómo ser el Facebook que soluciona los mismos problemas a otro nivel". Por ejemplo, el caso de las plataformas de comercio electrónico en apoyo a los tejidos empresariales de proximidad.

Amazon construyó una herramienta de inteligencia artificial para contratar gente, pero tuvo que cerrarla porque estaba discriminando a las mujeres

"Tengo el optimismo de la voluntad para no perder la esperanza, pero el pesimismo del intelecto"; ríe Galdón. "Un ejemplo es cómo estamos teniendo el debate sobre los fondos europeos, que un montante irá destinado a temas digitales. No estamos hablando de qué vamos a hacer con los fondos; estamos hablando de cuánto y para quién". "Estamos volviendo a reproducir la misma dinámica de siempre: digitalizarnos muy mal".

"Tenemos que empezar a cambiar la forma de pensar. Pensar qué problemas sociales tenemos y construir soluciones en base a un diagnóstico"; defiende. "Hay soluciones que no tienen por qué ser tecnológicas o digitales".

Un ejemplo es el del blockchain. "No me pueden decir que tienen blockchain y después preguntar qué hay que solucionar. Primero hay que diagnosticar un problema real".