Los desafíos para conseguir una IA sin sesgos como a la que aspira Europa: "Hay un fallo de mercado, se intenta vender el mismo software a todo el mundo"

Gemma Galdón, fundadora de Eticas Research & Consulting.
Gemma Galdón, fundadora de Eticas Research & Consulting.

Dani Blanco ARGIA

  • La tecnología está orientada al consumo, no a los problemas de la sociedad: este es uno de los desafíos que tendrá que abordar Europa para lograr una IA ética.
  • La experta Gemma Galdon destaca las oportunidades y riesgos a los que se enfrentan las administraciones públicas en la búsqueda de una IA más humana.
  • Descubre más historias en Business Insider España.

La Unión Europea quiere que los despliegues de sistemas de inteligencia artificial en el Viejo Continente sean sensiblemente diferentes a los que se están dando en otras potencias, como en Estados Unidos o China. Por ello, la Comisión presentó en abril un borrador de su futuro Reglamento sobre la IA que espera poner al humano en el centro de estos desarrollos tecnológicos.

Gemma Galdon es la fundadora de Eticas, consultora y fundación que se dedica a la auditoría algorítmica, a detectar sesgos en algoritmos que puedan vulnerabilizar a colectivos. La experta participó hace unos días en un seminario en línea organizado por la cátedra Prospect 2030 de la Comunitat Valenciana sobre las implicaciones filosóficas, legales y éticas de la IA.

En su intervención, Galdon se detuvo en el papel del sector público en la protección de ciudadanos en procesos algorítmicos. Por ello, citó unas palabras del filósofo Daniel Innerarity en las que lamentaba cómo los parlamentos habían visto erosionados su papel como agentes capaces de hacer prospectiva, estrategia y detectar "cuáles serán las derivas sociales y quiénes necesitarán protección".

"Incorporar herramientas de responsabilidad en la tecnología es una labor que posiciona y traduce un liderazgo que ha realizado Europa en términos normativos. Tenemos el Reglamento General de Protección de Datos y toda una batería de legislación que llegará en los próximos meses. La cuestión es cómo transformar ese liderazgo normativo en liderazgo empresarial", incidió Galdon.

En ese sentido, la especialista recordó que el mercado tecnológico hegemónico en Europa es el proveniente de EEUU, orientado al consumo. "El mercado tecnológico dedica a las mejores mentes de nuestra generacióna conseguir que la gente pinche en los anuncios. No es una industria orientada a resolver los grandes problemas de la sociedad".

"Tenemos una industria tecnológica copada por intereses y prioridades de consumo donde esos grandísimos ingenieros y alguna ingeniera están enfrascados en hacer que los ciudadanos consumamos más", ironizó.

Un fallo de mercado

Frente al mercado tecnológico orientado al consumo está la industria tecnológica orientada a fines autoritarios. Y en medio Europa, con el anhelo de conseguir que el desarrollo tecnológico tenga al ciudadano en el centro. El papel de la Administración es clarísimo: "asumir el discurso de la responsabilidad en tecnología frente a visiones más totalitarias o comerciales".

La demanda por parte de las administraciones existe. Pero la oferta no. "Lo vemos nosotros, como actor que trabaja con la Administración y con sus proveedores privados", advertía Gemma Galdon. "Hay un claro fallo de mercado. La Administración protagoniza la incorporación de la inteligencia artificial de alto riesgo, en sectores como la sanidad, la educación o la seguridad".

Empresas que espían las conversaciones de sus empleados y algoritmos que penalizan hasta por enfermedad: Europa quiere regular la IA en el trabajo antes de que acabe el año

"Esa IA de alto riesgo en Europa" queda atribuida a las administraciones porque "son servicios públicos". Son sistemas de inteligencia artificial "que decide si un ciudadano recibe o no una prestación por desempleo, si es atendido antes o después en un hospital, si recibe protección judicial tras una denuncia por situación de acoso de género", expuso la tecnóloga.

Pero "hay un fallo de mercado", insistió, "porque aunque exista esa demanda de inteligencia artificial para espacios de alto riesgo, no existe la oferta".

El peligroso 'café para todos' algorítmico

"Hay un gran paso desde la promesa al código", lamentó. "Existe una dinámica con la que se intenta vender el mismo software a todo el mundo, los mismos algoritmos. No es lo mismo vender un sistema a una gran superficie que a un departamento de Policía. No es lo mismo venderle un software a una empresa privada que a un hospital o a una administración".

En ese sentido, Galdon recordaba que un parque de atracciones y un hospital no comparten los mismos problemas, pero la industria exige y pide que sus productos sean escalables. 

"Esa escalabilidad del software, esa dinámica de one size fits all" ("talla única para todo" en inglés), "lleva a que las administraciones implementen sistemas de IA que no estén diseñados para abordar desafíos en entornos de alto riesgo". Por eso es imprescindible que el sector público tenga "un mayor conocimiento" de qué tecnología necesita y de cuál va a comprar.

Galdon puso de ejemplo la Administración Obama, al ser el primer mandatario que se preocupó por mejorar los procesos de licitación de tecnologías desde la Casa Blanca. Ese es el camino: mejorar los procesos de licitación de tecnología, mejorar la "forma" en la que "compramos tecnología". "Ser proactivos y más descriptivos a la hora de definir qué sistemas necesitamos".

"Aprender", en definitiva, de experiencias del pasado como las smart cities que fracasaron. El hacker Jaime Gómez-Obregón comenzó hace unas semanas un intenso análisis de las apps desarrolladas por las administraciones y denunció el uso de una "neolengua" por parte de los políticos que reviste de humo la implementación de desarrollos tecnológicos que no solucionan demasiado.

Un "tecnosolucionismo", en palabras de Galdon, que aporta poco.

Puentes que se derrumban

proyecto-startical-satelites-europa

NicoElNino / Getty Images

Por eso, Galdon recordó que "no hace falta ser ingeniero de Sistemas para ser consciente de los problemas que queremos solucionar". Para hacer más gráfico el debate, Gemma esbozó una analogía entre un sistema de IA con un puente que se derrumba. Como un edificio construido solo por fontaneros.

"Los fontaneros pueden ser perfectos profesionales. Muy buenos en lo suyo. Los mejores del mundo. Pero un fontanero no puede construir solo un edificio. Necesitará arquitectos, albañiles, y un montón más de capacidades para que el edificio se sostenga". "Incorporar tecnología en el sector público y en el privado supone construir edificios de interacción humano-máquina".

Por ello, de la misma manera que los fontaneros no pueden construir por sí mismos un edificio o un puente sin que se derrumba, la creación y despliegue de sistemas de IA no puede dejarse únicamente en manos de ingenieros o tecnólogos. Es necesaria la participación de perfiles que también sean capaces de detectar y prevenir riesgos y vulnerabilidades sociales.

La apuesta por la IA en el plan de recuperación puede generar más de 3.000 millones de euros de riqueza, pero algunos de sus pliegos nacen desfasados según alertan varias expertas

En el proceso de auditorías algorítmicas, Galdon incide en que los primeros problemas los detectan a la hora de elegir qué datos van a alimentar los sistemas de IA. "Nos encontramos ese problema en desarrollos públicos y privados. Para alimentar los algoritmos seleccionamos los datos que tenemos, no los que necesitamos".

Eso llevó a un reciente caso en un hospital estadounidense que priorizaba pacientes en la sala de espera de Urgencias no en función de su urgencia, sino en función del coste de su intervención. La base de datos que se había empleado para alimentar la IA solo había contado con datos financieros.

"Los ingenieros no pueden entrar en la selección de qué bases de datos usará e sistema. Quién mejor puede tomar esa decisión son las personas que estén al mando con una buena planificación".

"Hay que pedirle más a la Administración"

Hecho el diagnóstico, Galdon también consideró que es necesario "pedirle más" a la administración "pero también ofrecerles ayuda". Eticas trabaja con el objetivo de "proteger a las personas en procesos algorítmicos". 

"Las administraciones podrían acercarse mucho más a esta aproximación" porque ahora son las grandes tecnológicas como Google o Facebook las que copan "la investigación" en tecnología. Un ejemplo de ello es la reciente demanda del colectivo AlgorithmWatch, que denunció cómo la compañía de Mark Zuckerberg les obligó a suspender una investigación sobre Instagram este verano.

Galdon considera que la investigación que promueven estas empresas "es excelente" pero "tinen unas limitaciones muy claras": "Están orientadas al consumo". Al mismo tiempo existe "un ámbito de la investigación que tiene problemas para sobrevivir, para conseguir recursos, para financiarse".

Tras la oleada de las smart cities ahora hay "una nueva oleada con los fondos Next Generation" que supone una inyección de inversiones "lideradas por las administraciones", lo cual es "una buenísima noticia". "Pero tenemos que evitar repetir los errores que cometimos en el pasado, donde la solución de problemas no estaba en el centro y el tecnosolucionismo se impuso".

Descubre más sobre , autor/a de este artículo.

Conoce cómo trabajamos en Business Insider.