"Silicon Valley está matando la innovación": por qué hay que empezar a auditar los algoritmos a las tecnológicas para evitar distopías, según una experta

Gemma Galdón, fundadora de Eticas Research & Consulting.
Gemma Galdón, fundadora de Eticas Research & Consulting.

Dani Blanco ARGIA

  • Gemma Galdón fundó en 2012 Eticas Research & Consulting, una firma española especializada en auditar los algoritmos a empresas tecnológicas e instituciones.
  • Considera que el modelo de Silicon Valley está matando la innovación, ya que la gente desconfía de la tecnología al no tenerse en cuenta aspectos éticos.
  • Cómo y por qué es importante auditarle los algoritmos a las tecnológicas, y por qué este será un sector que irá creciendo paulatinamente.
  • Descubre más historias en Business Insider España.

Cuando una empresa crece, debe hacerlo sujeta a ciertos estándares contables. Para ello, compañías de todo tamaño y pelaje se someten a auditorías especializadas que abundan en el estado de sus ingresos y gastos.

Ahora que ya termina 2020, Europa ya tiene sobre la mesa una propuesta para regular las tecnológicas. Este es un extremo que incluso el anterior CEO del banco HSBC defendió en una columna publicada en el Financial Times. "El riesgo para los clientes en caso de que las empresas tecnológicas den malos datos es ahora tan grave como lo fue en el sector financiero", planteó John Flint, preocupado por el impacto de estas firmas en la sociedad.

De la misma manera que las empresas someten sus cuentas a auditorías, una firma española cree que las tecnológicas deberían hacer lo propio permitiendo que se auditen sus algoritmos. "Vivimos en un mundo racista y machista. Hay muchas dinámicas de exclusión sobre grandes colectivos; desde a las mujeres a las personas no blancas. A veces, incluso a los mayores: encontramos lógicas de discriminación que a veces no nos esperaríamos", reconoce Gemma Galdón.

Galdón es la fundadora y CEO de Eticas Research & Consulting, una compañía española que desde 2012 trabaja como consultora para auditar algoritmos a empresas tecnológicas. Es una marca con dos patas, abunda la propia Galdón: Eticas, además de una consultoría, es una fundación con la que los profesionales de la firma tratan de marcar su agenda propia y denunciar los sesgos y los impactos negativos que determinadas tecnologías pueden provocar en la sociedad.

La estrategia para la IA que acaba de presentar el Gobierno da la bienvenida a GAIA-X, la respuesta Europea a la hegemonía de EEUU en la nube

"El mundo real es mucho menos perfecto de lo que nos gustaría", continúa Galdón, en una reciente entrevista con Business Insider España. "Y todo lo incorporan los algoritmos". "Existe, por ejemplo, una dinámica global que privilegia los rostros blancos. En India, aunque la mayoría de la población no es blanca, utilizan rostros blancos en las imágenes publicitarias".

"La mayoría de las personas que acceden a internet son personas blancas del norte desarrollado. Toda la información que hay en internet tiene un sesgo importantísimo".

Eticas audita algoritmos de terceros y da formaciones. También pone sobre la mesa debates y sesgos preocupantes de determinadas compañías tecnológicas. Es una compañía pionera en un mercado que todavía no se ha desarrollado, según reconoce la propia Galdón. Así es cómo trabajan, con qué clientes lo hacen y cómo son sus profesionales.

Un mercado de pioneros

Hoy día, la mayoría de desarrollos tecnológicos que se comercializan tienen un sesgo claro. Por ejemplo, la mayoría de aplicaciones o plataformas están pensadas para el empleador, y no para el trabajador. Estos últimos podrían emplear todo tipo de programas para demostrar que han sufrido una enfermedad laboral o para probar que han hecho horas extras. ¿Es que no hay mercado? A juicio de Gemma, lo hay. Pero lo que también hay es "un error de mercado".

"Silicon Valley ha lanzado la idea de que la tecnología tiene que ser inmediatamente escalable. Es una forma de innovar orientada a ganar dinero muy pronto y muy rápido. Sin embargo, hay otros nichos en los que uno podría ganarse la vida tranquila y decentemente, pero están muy inexplorados", defiende la experta. "Todo el mundo quiere ser el próximo Facebook o Google", lamenta.

Esta es la razón por la que, según Gemma Galdón, muchos emprendedores tecnológicos no se animan a bucear en ámbitos en los que "no hay una demanda estructurada, ordenada o suficiente". Pocos abren mercado. Un ejemplo de lo contrario es ella misma: "Empecé Eticas en 2012 porque nadie hablaba de ética en la tecnología entonces. Nadie lo consideraba relevante. Yo aposté porque la privacidad iban a ser los derechos civiles del siglo XXI, y pensé que necesitaríamos herramientas para defenderla no solo en el ámbito jurídico, también en términos técnicos".

Amazon construyó una herramienta de inteligencia artificial para contratar gente, pero tuvo que cerrarla porque estaba discriminando a las mujeres

Sin embargo, Eticas sigue explorando, 8 años después, un terreno todavía inexplorado. "No me cabe ninguna duda de que muchos de los clientes con los que trabajamos son verdaderos pioneros. Muchos de los clientes que acuden a nosotros son profesionales o cargos que están muy avanzados en la curva de comprensión de los riesgos que suponen un algoritmo no auditado".

Cada vez se habla más de compliance, de ganarse la confianza de los clientes. Muchos de los interlocutores con los que habla Gemma en su día a día como profesional y empresaria reconocen que estos son activos intangibles que cobran más relevancia día a día. "Pero muchos todavía no se han animado a dar el paso de contratar nuestros servicios. Nosotros estamos trabajando en ello".

Innovar demasiado deprisa destruye la confianza

Mark Zuckerberg, CEO de Facebook.
Mark Zuckerberg, CEO de Facebook.

Por eso, Gemma considera que, como ellos, muchos emprendedores deberían romper con un modelo. El modelo de Silicon Valley: move fast and break things (muévete rápido y rompe cosas). "Renunciamos a ese modelo porque queremos movernos lentamente, para asegurarnos de que construimos alternativas robustas a una forma de innovación que, pensamos, no permite exprimir al máximo el progreso".

A juicio de Galdón, crecer rápido, desarrollar productos pensados en su escalabilidad, y no tener presentes aspectos éticos que eviten lógicas discriminatorias en los algoritmos lleva a que los usuarios acaben desconfiando de la innovación. "Así estamos matando la innovación".

Un ejemplo está en el auge de plataformas de comercio electrónico que nacen fomentadas por parte de las administraciones públicas para apoyar al pequeño comercio, en detrimento de gigantes como Amazon. "Un amigo dice que la pandemia ha sido como un examen sorpresa para todos los sectores y el resultado ha sido de suspenso absoluto. En el sector tecnológico, donde más".

Una investigadora del MIT que analiza software de reconocimiento facial sostiene que eliminar los sesgos de la Inteligencia Artificial es una cuestión de prioridades

"Al final la gente compra en Amazon porque no hay alternativas. No se compra porque la gente quiera hundir al pequeño comercio. Muchas personas compran porque la alternativa es pasarse 3 días deambulando por su barrio sin encontrar lo que busca". Cuando aparece una plataforma de comercio local distribuido en línea, lo habitual es encontrarte un portal "que no cumple con el Reglamento de Protección de Datos".

De la administración pública nacen "auténticas máquinas de robar datos de usuarios". "Al menos Amazon cumple la ley", se resigna la profesional.

Los clientes pioneros que confían en Eticas

Auditar algoritmos no es tarea fácil. De hecho, Gemma Galdón reconoce a Business Insider España que aunque varias startups han mostrado su interés, no suelen contar con la financiación necesaria para acompañar sus resultados de una auditoría tecnológica. Por eso, aunque cuenta con un perfil de clientes "muy diversos", la mayoría son instituciones públicas y grandes empresas privadas.

De hecho, según recuerda Gemma, la primera contratación de una auditoría tecnológica a Eticas la protagonizó Telefónica hace años. "La iniciativa de contactar con nosotros suele ser individual; personas a diferentes niveles que o bien están muy arriba en el organigrama, o bien que cuentan con responsabilidad en sus compañías".

La verdadera amenaza de la inteligencia artificial son las personas detrás de los algoritmos, según una ingeniera del departamento científico de Google

Gracias a la fase en la que se encuentran, Eticas está conociendo al mismo tiempo varios entornos. "Desde aplicaciones de salud y calidad de vida hasta sistemas de valoración de riesgos del sector público". Algunas auditorías las han hecho sobre algoritmos de los que pueden depender la concesión o no de asistencia pública, económica o social por parte de una administración.

Además de sus auditorías, Eticas también ofrece formaciones, aunque a Gemma Galdón no le resultan muy útiles. "Para mí lo más importante es ser útil", incide. "Los profesionales tendrán dilemas éticos o tecnológicos durante su trabajo, cuando tengan que tomar una determinada decisión sobre su algoritmo. Si hago un curso genérico sobre protección de datos o sociología los profesionales se van a quedar con las ideas en abstracto, no las van a saber aterrizar", lamenta.

De momento, Eticas también está trabajando con el Banco Interamericano de Desarrollo para aportar sus auditorías en sus programas de aceleración a startups en Latinoamérica. Aunque este servicio todavía es un piloto por definir, reconoce. Sus principales mercados están en Estados Unidos y América Latina, España y el resto de Europa.

Cómo es trabajar en Eticas

Eticas factura al año más de 500.000 euros. Mucho más si se tiene en cuenta las cuentas de la fundación del mismo nombre. La fundación sin ánimo de lucro y "bebe de las contribuciones que hace la empresa", explica Galdón. "En nuestro trabajo diario nos encontramos con disfunciones, problemas y debates por los que ningún cliente nos va a pagar. Queríamos un espacio donde nosotros marcásemos la agenda y así contribuir para que la sociedad tenga más herramientas".

Tanto la consultoría como la fundación cuenta con dos plantillas bien diferenciadas. Hay un equipo nuclear y multidisciplinar que llevan años trabajando en Eticas, y lo componen alrededor de una docena de profesionales. "También trabajamos muchos con alianzas y personas que nos ayudan como freelance", explica.

Esta Inteligencia Artificial de la policía británica es capaz de predecir qué casos se pueden resolver, pero es incapaz de evitar los sesgos

La razón no es otra que la versatilidad que tienen que demostrar día a día. No es lo mismo auditar el algoritmo de una entidad bancaria que hacerlo de un hospital público. "Por ello contamos con un ecosistema de expertos multidisciplinares, mucho de los cuales trabajan en la universidad". "Es la mejor forma de tener a las mejores cabezas pensantes disponibles", defiende.

El perfil profesional que trabaja o colabora con Eticas tiene que demostrar estar familiarizado con cuestiones técnicas y con sensibilidades sociales. "Pueden ser graduados en Matemáticas, ingenieros... pero que tienen que demostrar de algún modo esa sensibilidad. No tiene por qué demostrarse con formación: basta que tengan un blog en el que escriban sobre determinados temas, por ejemplo".

Por otro lado, Eticas también reúne expertos del mundo de la sociología y de la antropología que también tienen que estar familiarizados con cuestiones técnicas. "No puede ser que les pregunte algo sobre un lenguaje de programación y me miren extrañados".

Descubre más sobre , autor/a de este artículo.

Conoce cómo trabajamos en Business Insider.