Una investigadora del MIT que analiza software de reconocimiento facial sostiene que eliminar los sesgos de la Inteligencia Artificial es una cuestión de prioridades
- Joy Buolamwini es una investigadora del MIT que trabaja para obligar a las organizaciones a hacer que el software de reconocimiento facial sea más ético e inclusivo.
- La IA que ejecuta el software de reconocimiento facial aprende de los datos durante su desarrollo, y su precisión en la evaluación de caras refleja ese conjunto de datos.
- Después de que Buolamwini compartiera una investigación con IBM sobre las puntuaciones deficientes de su software en la evaluación de rostros masculinos y femeninos más oscuros, los desarrolladores de IBM pudieron mejorar drásticamente las puntuaciones de precisión mediante ajustes.
- Este artículo es parte del especial Better Capitalism de Business Insider.
Cuando hablamos de algoritmos y automatización, no podemos asumir que entregar la responsabilidad a una máquina eliminará los prejuicios humanos. La inteligencia artificial, después de todo, es construida y enseñada por los humanos.
La investigadora del MIT Media Lab y fundadora de la Liga de Justicia Algorítmica, Joy Buolamwini, se dedica, no solo a concienciar sobre el sesgo en el software de reconocimiento facial, sino también a obligar a las compañías de todo el mundo a hacer que su software sea más preciso y a utilizar sus capacidades de forma ética.
Buolamwini ha acuñado el término "la mirada codificada". Ella dice que la mirada codificada es un "reflejo de las prioridades, las preferencias y también a veces los prejuicios de quienes tienen el poder de dar forma a la tecnología", dice ante una audiencia en la reunión anual del Foro Económico Mundial de 2019 en Davos, Suiza.
Hay verdaderos riesgos aquí. Como señaló en una charla TED viral y en un editorial del New York Times, una cosa es que Facebook confunda a las personas al analizar una foto, pero otra cuando la policía o un posible empleador está utilizando dicho software.
Leer más: 38 expertos señalan las tendencias que marcarán la inteligencia artificial en 2019
Buolamwini es de ascendencia ghanesa y, como estudiante de posgrado, descubrió que el software de reconocimiento facial que estaba investigando podía detectar las caras de los compañeros de clase de piel clara, pero no su propia piel más oscura. Le mostró a la multitud de Davos una parte de su charla en TED, en la que demostró la forma en que ese mismo software reconocía su rostro cuando llevaba una máscara blanca lisa sobre ella.
Diferentes compañías utilizan diferentes software de reconocimiento facial, pero la IA involucrada aprende a través de imágenes que se le suministran durante su desarrollo. Si se le muestra principalmente con caras masculinas blancas, se convertirá en una experta en la identificación de caras masculinas blancas y podra captar detalles sutiles; mientras tanto, tendrá dificultades para identificar o diferenciar las caras con diferentes tonos de piel, y tendrá más dificultades para evaluar los rasgos femeninos.
Los colegas de Buolamwini y del MIT se embarcaron en una evaluación exhaustiva de los principales programas de reconocimiento facial (aquellos de Microsoft, Face ++ e IBM) para ver cómo respondían. Hubo diferencias en la exactitud de cada programa, pero los tres generalmente tuvieron el mismo orden de precisión de mejor a peor: hombre más claro, mujer más clara, hombre más oscuro, mujer más oscura (Face ++ tuvo un aumento de precisión del 1% para hombres más oscuros que hombres más blancos).
Antes de hacer pública su investigación, Buolamwini envió los resultados a cada compañía. IBM respondió el mismo día, dijo, y dijo que los desarrolladores abordarían las discrepancias. Evaluó el software actualizado de IBM el año pasado y encontró una mejora notable. La precisión para evaluar correctamente a los hombress más oscuros pasó del 88.0% al 99.4%, para las mujeres más oscuras del 65.3% al 83.5%, y para las mujeres más blancas del 92.9% al 97.6%, y los hombres blancos se mantuvieron en el 97.0%.
"Entonces, para todos los que vieron mi TED Talk y dijeron: '¿No es la física la razón por la que no te detectaron? Tu reflectancia de la piel, tu contraste, etcétera', las leyes de la física no cambiaron de diciembre de 2017, cuando hice el estudio, al 2018, cuando lanzaron los nuevos resultados ", respnde Buolamwini. "Lo que cambió es que lo convirtieron en una prioridad".
Buolamwini descubrió que, si bien el software preparado para los hombres más blancos presentaba sus propios problemas, incluso el software perfecto dependía de sus desarrolladores.
La experta destaca una investigación de Intercept publicada el verano pasado que descubrió que IBM había trabajado con el Departamento de Policía de la Ciudad de Nueva York durante años en un proyecto de vigilancia con reconocimiento facial, que nunca se hizo público mientras estaba en uso. (El NYPD le dice a Intercept que nunca usó la capacidad del software para distinguir el color de la piel, IBM se negó a comentar sobre el proyecto y la NYPD finalizó su colaboración con IBM en 2016.)
Luego señaló que la contratación de software como HireVue, una compañía que fabrica un programa que permite a grandes empresas como Unilever y Hilton Worldwide evaluar rápidamente las entrevistas en vídeo de muchos postulantes de empleo, también utiliza un software de reconocimiento facial. Boulamwini argumentó que si se usan sin suficiente cuidado, los programas de contratación de IA podrían reforzar los rasgos existentes en un puesto en lugar de corregirlos. (HireVue duce a Business Insider que hacer pruebas para encontrar sesgos con la intención de eliminarlos es un aspecto integral de la forma en que se usa su software).
"Entonces, no es solo cuestión de tener sistemas precisos", dice. "La forma en que se utilizan estos sistemas también es importante". Es por eso que lanzó su compromiso Safe Face, con cuatro compromisos: mostrar valor para la vida humana, la dignidad y los derechos; abordar sesgos perjudiciales; facilitar la transparencia; e integrar los compromisos en las prácticas comerciales. Se lanzó con tres signatarios, pero aún no ha llegado una corporación importante.
El software de reconocimiento facial está aquí para quedarse y tiene potencial para aplicaciones útiles como proteger a los usuarios del robo de identidad. Como lo sugiere la investigación de Buolamwini, representa una amenaza menor para los derechos de los ciudadanos cuanto más preciso sea y, a medida que su uso se generaliza, las empresas deben tomar muy en serio la ética en torno a su uso.
Puedes ver la presentación entera de Buolamwini en la página del Foro Económico Mundial.
Otros artículos interesantes:
Conoce cómo trabajamos en Business Insider.