La agencia europea de derechos fundamentales advierte sobre los riesgos de algoritmos policiales que pueden "reforzar prácticas discriminatorias"

La Comisión Europea presentó en mayo del año pasado un borrador del futuro Reglamento de la Inteligencia Artificial. El texto avanza a buen ritmo. Ahora están los colegisladores debatiéndolo. Es de esperar que este mes el Consejo de la Unión Europea —compuesto por los gobiernos de los 27— alcancen un consenso este mismo mes.

En la Eurocámara todavía queda algo de trabajo. La norma la están trabajando la Comisión de Mercado Interno y Protección de los Consumidores con la Comisión de Libertades Civiles, Justicia y Asuntos Domésticos. Con el apoyo de las comisiones de Asuntos Legales e Industria, ambos grupos de parlamentarios están analizando las más de 3.000 enmiendas recibidas.

Es de esperar que la norma se vote definitivamente en el Parlamento Europeo a lo largo del primer trimestre de 2023 y una vez hecho esto arranque el proceso de trílogos: las negociaciones entre los dos colegisladores —Consejo de la UE y Parlamento— a fin de llegar a un término medio que se convierta en ley.

Pero mientras eso llega, las diversas instituciones comunitarias se están pronunciando sobre los riesgos y desafíos del uso de la inteligencia artificial en ámbitos tan sensibles como es el de los dispositivos policiales.

La Agencia de la Unión Europea por los Derechos Fundamentales, FRA, por sus siglas en inglés, ha lanzado un extenso informe en el que pormenoriza los riesgos de usar estos modelos de decisión automatizada en el ámbito policial, así como en el mundo de la moderación de contenidos.

Un ciclo retroalimentándose y generando desigualdad

Una de las pautas que detalla el informe, que puedes consultar aquí, es el feedback loop o ciclo de retroalimentación. 

Bajo ese término se esconde en realidad una mecánica muy sencilla con la que muchos algoritmos funcionan, también en videojuegos o en plataformas sociales como Twitter o YouTube: un estímulo cambia el modelo de inteligencia artificial, cuyo algoritmo responde con ese estímulo absorbido.

Si en una red social indicas que un contenido concreto te gusta, el algoritmo de recomendación te ofrecerá más contenidos similares, provocando que finalmente estés en una suerte de burbuja de contenidos hiperespecíficos seleccionados para ti.

Esto no es inocente en esas plataformas sociales —que han alimentado la polarización y las cámaras de eco, según varios expertos—. Pero es todavía menos inocente cuando se pretende emplear un algoritmo para determinar en qué zonas de una ciudad habrá más o menos policía. 

El ejemplo es todavía más sencillo de entender. Si el algoritmo ubica mucha policía en determinada zona de una urbe, es plausible que el número de actuaciones policiales aumente, lo que haga al algoritmo entender que hay mayor conflictividad, y por lo tanto responda destinando más efectivos a esa ubicación.

Fotos de tu cara y millones de datos a cambio del 'selfie' perfecto: así entrenas la inteligencia artificial de la app Lensa sin darte cuenta

Mientras tanto, en una zona en la que no hay tanta policía destinada no se registrarán tantas actuaciones, con lo que el algoritmo entenderá que hay menor conflictividad, dejando áreas de ciudades y regiones sin efectivos.

"El principal objetivo de la predicción policial es identificar zonas de alto riesgo de crímenes para que la policía pueda tomar acciones con las que prevenir los ilícitos. Pero esos sistemas se basan en la premisa de que hechos criminales del pasado contienen patrones que ayudarán a predecir los del futuro", recoge el informe.

"Sin embargo, décadas de investigación criminológica han demostrado las limitaciones de ese enfoque, en tanto que las bases de datos policiales no son censos completos de todos los ilícitos y no constituyen un ejemplo representativo", zanja.

El documento también advierte que los modelos de decisión automatizada que más se están usando ya en las fuerzas y cuerpos de seguridad de los estados miembros no son libres ni abiertos, con lo que hay demasiada opacidad sobre cómo han sido entrenados esos sistemas de inteligencia artificial.

Algoritmos que no deben ser empleados sin supervisión

El informe de la agencia también destaca cómo otros modelos de IA empleados para detectar discursos de odio en internet pueden generar distorsiones, al detectar casos que pueden ser en realidad falsos positivos.

Más allá de los dos casos de estudio de este informe, la agencia pone de relieve que este tipo de algoritmos en campos tan críticos como la labor policial o la libertad de expresión no deben emplearse sin una supervisión previa que garantice que o están exentos de sesgos o estos están al menos auditados y, por lo tanto, son corregibles.

Las decisiones que se adopten en base a estos modelos deberán ser vigiladas caso a caso y al amparo de las directivas y reglamentos vigentes.

Aunque el Reglamento de IA todavía no está aprobado, no es la primera vez que una institución comunitaria se pronuncia sobre la labor policial con modelos de inteligencia artificial. Un grupo de eurodiputados sacaron adelante hace meses una declaración que animaba a limitar en todo lo posible el uso de esta tecnología en los cuerpos y fuerzas de seguridad.

Hace tan solo unos días saltó la noticia de cómo Interior está entrenando un modelo de inteligencia artificial de uso policial para facilitar el reconocimiento facial a la hora de investigar crímenes. Se trata de un modelo que lleva a los límites el texto del futuro reglamento, y sobre el que ya se ha preguntado al propio departamento que dirige el ministro Fernando Grande-Marlaska.

El Supervisor Europeo de Protección de Datos —EDPS, la AEPD de las instituciones comunitarias— y el Comité Europeo de Protección de Datos —EDPB, la entidad que aglutina a las agencias nacionales de los estados miembros— ya llamaron hace meses a vetar el uso de estas tecnologías de reconocimiento biométrico en espacios públicos.

"Teniendo en cuenta los riesgos extremadamente altos que plantea la identificación biométrica remota en personas en espacios de acceso público, el EDPB y el EDPS piden un veto general de cualquier uso de la IA para el reconocimiento automático de rasgos humanos en espacios de acceso público, como reconocimiento facial, huellas dactilares, ADN, de voz, pulsaciones de teclas...".