El algoritmo de reconocimiento facial que entrena la Policía Nacional lleva al límite las líneas rojas del futuro Reglamento de la IA

El Ministerio de Interior está entrenando con millones de fotos de ciudadanos que han sido arrestados un algoritmo llamado ABIS —siglas en inglés de sistema automático de identificación biométrica— que ha hecho saltar todas las alarmas en el mundo de la privacidad y la ética tecnológica.

Este modelo de inteligencia artificial ha sido adquirido a la compañía francesa Thales, contaba hace unos días El País. El objetivo del programa es ayudar a policías de toda España —tanto a la nacional como a la Guardia Civil o a cuerpos autonómicos— a identificar sospechosos a partir de cualquier tipo de imagen.

Esta IA de reconocimiento facial funciona como cualquier otra: primero es entrenada con una base de datos de caras. Una vez entrenada, si los agentes necesitan identificar a un "sospechoso", aplican el programa sobre la imagen que tengan —una grabación, por ejemplo— y el algoritmo buscará coincidencias entre los rostros que en ella se vean con los de su base de datos.

De esta manera, la herramienta ofrecerá una serie de resultados en los que presentará varios rostros. Un porcentaje determina si las facciones del rostro que aparece en la imagen coinciden más o menos con esas caras de su base de datos. Si es del 100%, es plausible que la persona grabada sea la dueña del rostro que también esté en la base de datos, y de esta manera es identificada.

Así ponen España, Bruselas y el resto de Europa pies en pared ante los desafíos éticos y sociales que provoca el auge de la inteligencia artificial

Sin embargo, este tipo de herramientas arrojan también un elevado número de falsos positivos. Tanto, que no solo expertos, sino también organismos públicos, están haciendo un llamamiento a la regulación de esta tecnología.

En 2020, en plena oleada de protestas del Black Lives Matter en EEUU, varios proveedores de esta tecnología anunciaron que paralizaban sus ventas a las fuerzas del orden. IBM, Amazon o Microsoft dejaron de ofrecer esta herramienta hasta que no existiera una regulación sobre ella. Trabajadores de Google exigieron a sus directivos que hiciesen lo propio.

Esto impulsó el debate regulacionista sobre los desafíos éticos de la inteligencia artificial, y la Comisión Europea presentó a mediados del año pasado el borrador de su futuro reglamento en la materia. De forma paralela, el Parlamento Europeo aprobó una declaración sobre el uso de estas herramientas automáticas en manos de las fuerzas y cuerpos de seguridad.

Hoy se da una singularidad: ese futuro Reglamento de la IA que los colegisladores comunitarios negocian se probará en España antes que en cualquier otro país del mundo, gracias a un cajón regulatorio —sandbox— que propuso la Secretaría de Estado de Digitalización e IA. Al mismo tiempo, Interior prepara un algoritmo que podría vulnerar de los preceptos de ese Reglamento.

Al límite del futuro Reglamento de la Inteligencia Artificial

Hay muchos detalles que todavía no se conocen. Por ejemplo, una de las líneas rojas que dibuja el futuro Reglamento de la IA contempla la prohibición de sistemas de reconocimiento biométrico —reconocimiento facial, reconocimiento por huella dactilar, reconocimiento de voz— en espacios de acceso público con un matiz: "en tiempo real".

El futuro Reglamento, sobre el que el Consejo de la Unión Europea tendrá una reunión en unos días para aprobar su versión definitiva —que después se tendrá que negociar con la versión definitiva de la Eurocámara— contempla explícitamente lo siguiente:

"Están prohibidas las siguientes prácticas de IA (...): El uso de sistemas de información biométrica remota "en tiempo real" en espacios de acceso público con fines de aplicación de la ley". Contempla excepciones, la IA podrá ser utilizada en esos ámbitos para la búsqueda de víctimas de un delito, menores desaparecidos, o la prevención de una amenaza o un atentado.

Esas excepciones tendrán en cuenta "la gravedad, probabilidad y magnitud" de la posible amenaza, así como "las consecuencias" que usar la IA tendría "para los derechos y libertades de las personas implicadas".

Interior ha asegurado a El País que "en ningún caso se usará para labores de vigilancia ni para reconocimiento en vivo de personas en espacios públicos". Sin embargo, las dudas son múltiples. La policía también ha aclarado al mismo diario que para entrenar el modelo no se están utilizando las imágenes del DNI de los españoles.

En cualquier caso, la prohibición exclusiva de los sistemas de reconocimiento biométrico en espacios públicos y en tiempo real es algo que todavía está sujeto a debate. Es uno de los puntos calientes de la norma. En los últimos compases de estas conversaciones se reintrodujo el término remoto de la expresión "uso de sistemas de información biométrica remota". 

La presidencia eslovena del Consejo eliminó el término al entender que generaba confusión, rememora Euractiv. Ahora la palabra aparece en el texto en esta versión, entendiendo por remoto que el sistema se usa "a distancia" y que la identificación tiene lugar "sin la activa participación" de la persona.

Hace apenas unos días una decena de eurodiputados y representantes de la coalición Reclaim Your Face —"reclama tu cara", en inglés—, que reúne a 76 ONG, discutieron sobre las amenazas que representan la vigilancia biométrica. La coalición pide la prohibición absoluta de esta tecnología.

Ella Jakubowska, asesora de European Digital Rights (EDRi), una de las asociaciones que integran la coalición, intervino en aquel debate que tuvo lugar en Bruselas. "Hemos visto gente sin hogar e inmigrantes sujetos a vigilancia inteligente que les condena en lugar de ayudarlos". "Aficionados deportivos tratados como delincuentes". "Manifestantes y periodistas reprimidos".

"También sabemos que hay compañías ahora mismo en España, Países Bajos, República Checa y probablemente en más países vendiendo estas tecnologías biométricas, que permiten generar perfiles automáticamente basándose en las emociones y comportamiento, género y rasgos de las personas", denunció.

Una resolución de la Eurocámara contraviene a la policía

Reclaim Your Face no es la única entidad que ha animado a poner coto a esta tecnología que está entrenándose por la policía y el Ministerio de Interior español. La Agencia Española de Protección de Datos (AEPD) conoció las intenciones del Ministerio a mediados de este año, y está ya en contacto con el mismo para definir cuáles son los riesgos de esa tecnología.

El Supervisor Europeo de Protección de Datos —EDPS, la AEPD de las instituciones comunitarias— y el Comité Europeo de Protección de Datos —EDPB, la entidad que aglutina a las agencias nacionales de los estados miembros— ya llamaron hace meses a vetar el uso de estas tecnologías de reconocimiento biométrico en espacios públicos, sin entrar en el concepto de "en tiempo real".

"Teniendo en cuenta los riesgos extremadamente altos que plantea la identificación biométrica remota en personas en espacios de acceso público, el EDPB y el EDPS piden un veto general de cualquier uso de la IA para el reconocimiento automático de rasgos humanos en espacios de acceso público, como reconocimiento facial, huellas dactilares, ADN, de voz, pulsaciones de teclas...".

La Eurocámara se suma al veto de los sistemas de IA policiales para reconocimiento biométrico y vigilancia masiva con una votación no vinculante

El Reglamento de la IA no es el único documento que llama a contener esta tecnología. El año pasado la Eurocámara adoptó una resolución no vinculante con la que se pedían "fuertes restricciones en el uso de las tecnologías IA por parte de las fuerzas de orden público", según reconoce un documento de seguimiento de dicha resolución consultado por Business Insider España.

Dicha resolución va "más allá de la propuesta de la Comisión" con su Reglamento y "recomienda restringir sustancialmente las posibilidades de que las autoridades policiales y fronterizas usen la IA para la evaluación de riesgos individuales, el análisis del comportamiento en lugares públicos y el uso de controles fronterizos automatizados".

Todo ello lo podrían hacer las Fuerzas y Cuerpos de Seguridad del Estado con el algoritmo que ahora entrena Interior. El departamento de Fernando Grande-Marlaska ha estado bajo el foco de una intensa polémica por las declaraciones que su titular ha hecho en todo momento sobre la presunta violencia en el salto a la valla de Melilla. Ceuta y Melilla tendrán "fronteras inteligentes con IA".

Batería de preguntas a Interior

La noticia de que el Ministerio de Interior y la Policía Nacional están entrenando a este algoritmo ABIS ha sorprendido y llamado la atención de activistas y especialistas en ética tecnológica, pero también a expertos en Protección de Datos. Uno de ellos es Gonzalo Oliver, asesor jurídico en materia de Protección de Datos, Privacidad y Ciberseguridad en OZONIA Consultores.

Oliver ha trasladado una solicitud de información a Interior. Concretamente, una batería de 11 preguntas que se pueden contestar con "sí" y con "no". Son las siguientes:

1. ¿Ha realizado el Ministerio del Interior la Evaluación de Impacto de Protección de Datos previa a la puesta en marcha de este sistema conforme a lo establecido en el artículo 35 del Reglamento General de Protección de Datos 2016/679)?

2. ¿En qué zonas específicas tiene pensado el Ministerio utilizar este tipo de herramienta de Inteligencia Artificial?

3. ¿En qué fecha aproximada tiene pensado el Ministerio del Interior poner en marcha este sistema de reconocimiento facial?

4. ¿Qué tipo de delitos pretende perseguir el Ministerio del Interior en base al uso de esta herramienta de reconocimiento facial?

5. ¿Ha considerado el Misterio del Interior otra medida menos invasiva e intrusiva para los derechos y libertadores fundamentales de los ciudadanos españoles?

6. ¿Este sistema de reconocimiento facial se usará para nacionales españoles y europeos o solo para personas no comunitarias?

7. ¿Ha tenido en cuanta el Ministerio del Interior el Proyecto del Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de Inteligencia Artificial (Reglamento de Inteligencia Artificial)?

8. ¿La herramienta utilizada o desarrollada es propia o de un tercero?

9. En caso de que sea de un tercero, ¿tendrá ese tercero acceso a la base de datos o solo la tendrá el Ministerio del Interior?

10. ¿Tiene pensado el Ministerio del Interior esperar a la aprobación definitiva del Proyecto del Reglamento en materia de Inteligencia Artificial (Reglamento de Inteligencia Artificial) para aplicarlo en el territorio nacional?

11. ¿En qué fecha se ha puesto en contacto el Ministerio del Interior con la Agencia Española de Protección de Datos para solicitar el Informe sobre el uso de esta herramienta?

Falta conocer la respuesta del Ministerio.