Una IA puede adivinar la etnia en la que se reconoce una persona a través de radiografías y los expertos no tienen claro por qué

Radiografía

Getty Images

  • Una IA es capaz de adivinar la etnia en la que se reconocen distintos pacientes tan solo observando imágenes de rayos X.
  • Los investigadores no saben todavía cómo es posible ni qué variables está manejando el algoritmo para establecer sus predicciones.
  • El hallazgo ha encendido la voz de alarma en EEUU acerca de la facilidad con la que la IA aprende sesgos que hasta ahora pasaban inadvertidos.
  • Descubre más historias en Business Insider España.

No salen de su asombro. Un nutrido grupo de investigadores de lugares como Canadá, Taiwan y EEUU han descubierto que una IA médica es capaz de anticipar la etnia en la que se reconocen sus pacientes.

Hasta aquí, uno podría pensar que se trata de un caso más o menos normal: existen infinidad de datos que pueden ayudar a una IA a identificar el origen de una persona.

Lo verdaderamente extraordinario es cómo lo hace: le basta, simplemente, con analizar imágenes de rayos X: tomografías, mamografías y radiografías, entre otras, según han relatado estos expertos.

Lo han hecho en un estudio colgado en arXiv.org, un repositorio de artículos científicos que están a la espera de la pertinente revisión por pares. Este revela algo aún más sorprende: no saben cómo lo hace.

Tras estudiar infinidad de hipótesis que incluyen, por ejemplo, que el tejido mamario de las mujeres de ciertas etnias sea más grueso que el de otras, los científicos no han conseguido dar aún con la clave.

Esta no es más que la variable o variables que la IA toma para saber antes que los propios médicos si el paciente que están tratando es de origen negro o caucásico, por ejemplo.

Se trata de algo más que una anécdota. Para algunos expertos, el hallazgo habla de un profundo problema que atañe a toda la IA: aprende más de lo que sabemos los humanos.

La IA aprende de los prejuicios de las personas

Son muchos los casos que se han reportado en los últimos años que hablan de prejuicios en el aprendizaje de la IA

La teoría es sencilla: dado que los datos con los que se alimenta la IA son de origen humano y estos están sujetos a nuestros propios sesgos, la IA incorpora de manera natural los mismos a sus análisis.

Esto fue exactamente lo que denunció hace un par de años otro grupo de investigadores en la revista Science.

Según sus datos, una de las IA más utilizadas por el sistema sanitario de EEUU contenía un evidente sesgo de etnia a la hora de establecer la gravedad de las enfermedades.

Según su explicación, el origen estaba en que que esta tomaba como una variable a considerar el gasto por cada paciente. 

Dado que el sistema invierte menos en curar a los pacientes negros que a los blancos, este interpretó erróneamente que los enfermos negros están más sanos o que necesitan menos cuidados.

El principal peligro de esta última investigación es que los científicos ni siquiera han sido capaces de hallar el origen del sesgo que permite al sistema distinguir unos pacientes de otros.

"Eso significa que no podríamos mitigar el sesgo", ha explicado a Vice Judy Gichoya, coautora del estudio y radióloga de la Universidad de Emory, en Atlanta, EEUU.

"Nuestro principal mensaje es que no se trata sólo de la capacidad de identificar la raza autodeclarada, sino de la capacidad de la IA de identificar la raza autodeclarada a partir de rasgos muy, muy triviales". 

"Si estos modelos están empezando a aprender estas propiedades, entonces todo lo que hagamos en términos de racismo sistémico será naturalmente aprendido por el algoritmo", ha añadido Gichoya.

Detrás de estas declaraciones hay toda una enmienda a la totalidad. 

Hasta el momento, el sistema sanitario estadounidense solo ha admitido principalmente algoritmos cerrados, es decir, IA que aprende una serie de cosas a través de un solo conjunto de datos.

En los últimos meses, sin embargo, las instituciones sanitarias parecen cada vez más dispuestas a incorporar algoritmos abiertos que aprendan más a medida que acceden a más casos.

No obstante, hoy muchos se preguntan en el país si de verdad tiene sentido poner en marcha estos procesos cuando los seres humanos ni siquiera podemos saber del todo cómo aprende la IA.

Robots que diferencian el olor de un perfume o el sabor de un buen vino: 5 maneras en las que la IA imita los sentidos de los seres humanos

"Hemos demostrado que los sistemas de IA médica pueden aprender fácilmente a reconocer la identidad racial en imágenes. La identidad racial del paciente se puede aprender fácilmente solo a partir de los datos de la imagen", concluye el estudio.

Y añade: "Esto puede proporcionar un mecanismo directo para perpetuar o incluso empeorar las disparidades raciales que existen en la práctica médica actual".

"Recomendamos encarecidamente a todos los desarrolladores, reguladores y usuarios que consideren el uso de modelos de aprendizaje profundo con extrema precaución".

Descubre más sobre , autor/a de este artículo.

Conoce cómo trabajamos en Business Insider.