70 investigadores piden al Gobierno de España una moratoria sobre el uso del reconocimiento facial

Los sistemas de reconocimiento y el análisis facial pueden tener efectos perniciosos sobre el bienestar, los intereses y las necesidades y derechos fundamentales de la población española en general. Así lo entienden 70 personas del ámbito académico entre las que se encuentran investigadores, filósofos, sociólogos, catedráticos y profesores de filosofía, computación y ciencias sociales que han firmado una carta abierta al Gobierno de España. En ella le piden, en primer lugar, una comisión de investigación independiente sobre el tema. Esta comisión podría estudiar la necesidad de establecer una moratoria en el uso y comercialización de sistemas de reconocimiento y análisis facial en nuestro país. 

Entre los firmantes de la carta se encuentran académicos e investigadores reconocidos por su trayectoria, filósofos, doctores, divulgadores y autores como Adela Cortina, filósofa; Carissa Véliz, autora del libro Privacy is Power, y profesora de Oxford; Nerea Luis, doctora en IA; Simona Levi, Xnet; Pilar Dellunde, exvicerectora de investigación de la UAB; Ramon López de Mántaras, Premio Nacional de Investigación «Julio Rey Pastor» en Matemáticas,  Carles Sierra, Director del Institut d’Investigació en Intel·ligència Artificial CSIC, y Ofelia Tejerina Rodríguez, presidenta de la Asociación de Internautas.

Ellos y varias decenas más ven necesario que el Gobierno “intervenga de manera rápida antes de que estos sistemas continúen expandiéndose y se conviertan en estándares de facto, a pesar de la intromisión que suponen en la esfera privada de las personas sin su consentimiento explícito”. Entienden que “están en juego cuestiones fundamentales de justicia social, dignidad humana, equidad, igualdad en el trato e inclusión”.

«No hay modelos aceptados en la ciencia que digan qué es una postura antisocial. Es un objeto de constante debate en la propia sociedad»

La paralización de los proyectos por parte de empresas públicas y privadas sería necesaria hasta que las Cortes Generales y las instituciones legislativas europeas debatan cuáles, de qué manera, en qué condiciones, con qué garantías y con qué objetivos debe permitirse, si cabe, el uso de estos sistemas.

Qué problemas tiene el reconocimiento y el análisis facial

El reconocimiento y el análisis de imágenes de personas por medio de algoritmos plantean muchos problemas. La carta incluye una selección de ellos y sus argumentos: 

• Asociar a una persona una determinada característica o tendencia (normalmente representada a través de una puntuación individual) con base en estadísticas poblacionales es altamente problemático​, especialmente cuando un sistema toma decisiones operativas que afectan a personas individuales con base en predicciones que pueden ser válidas únicamente a nivel de grupo. Que una persona sea clasificada en una categoría o perfil determinados no determina su comportamiento futuro, esto viola la idea fundamental de que los seres humanos tenemos libre albedrío y que nuestro comportamiento no está determinado de antemano, sino que disfrutamos de un espacio de libertad de decisión y propósito
• No hay modelos científicos aceptados ​en psicología, antropología o sociología que indiquen que un tipo de nariz, un rictus particular o una manera de andar sean predictores adecuados de comportamientos individuales futuros. Por ejemplo, la probabilidad de delinquir o de ser eficiente en el trabajo.
• La dificultad para establecer una relación clara entre la entrada de datos y la predicción o recomendación de salida en los algoritmos de aprendizaje necesarios para estos sistemas crean cajas negras cuya opacidad dificulta saber cómo toman sus decisiones y en qué criterios las basan
• Son sistemas poco robustos ya que la calidad de sus resultados es altamente dependiente de cuestiones contextuales, y dan lugar tanto a falsos positivos como falsos negativos.
• Es fácil que un sesgo muestral afecte de manera notable la calidad predictiva de un sistema cuando diferentes grupos no están representados de forma igualitaria en los datos de entrenamiento.

Estos casos han sido ampliamente documentados y discutidos por la comunidad científica y entidades gubernamentales y civiles como la European Union Agency for Fundamental Rights, European Digital Rights (EDRi), Ada Lovelace Institute, AlgorithmWatch, Algorithmic Justice League, y la American Civil Liberties Union entre muchas otras.

La carta está abierta a nuevas adhesiones y puede firmarse en la siguiente dirección: http://bit.ly/CartaalGobierno.

Por qué surge la carta

La idea de la carta surgió al día siguiente de que se conozca la noticia sobre el sistema de reconocimiento facial para el que Renfe había convocado una licitación, cuando los promotores de la iniciativa se pusieron en marcha. Otros casos que han aparecido en prensa en los últimos meses en España han sido el del tratamiento de datos biométricos en supermercados de Mercadona en varias ciudades y el sistema de reconocimiento facial de la Estación de Mendez Álvaro, en Madrid.

Ariel Guersenzvaig, investigador en filosofía de la tecnología y ética de la inteligencia artificial en Elisava, compartió la noticia con un grupo de personas en Twitter que comparten la inquietud que les causa el que cada día se conozcan nuevos usos masivos para estos sistemas: David Casacuberta, filósofo de la ciencia, Karlos G. Liberal, responsable del lab de Biko, Helena Matute, catedrática de Psicología en la Universidad de Deusto, y Txetxu Ausín, científico del Instituto de Filosofía del CSIC.

Decidieron que había que pedir al Gobierno que regule estas situaciones. Otros profesores e investigadores, como Ujué Agudo, investigadora en IA, se sumaron y empezaron a mover la carta en el ámbito académico. 

☷
Datos biométricos
Cómo son los algoritmos que se quedan con tu cara

En el momento en que le llamo, Guersenzvaig está con el tiempo limitado porque justamente se encuentra asistiendo a un simposio en Standford sobre este tema, la regulación de la Inteligencia Artificial. Le pregunto si ante estos sistemas de vigilancia masiva no estamos ya protegidos por las leyes europeas. 

Me dice que en general, la preocupación del público viene del lado de la privacidad y la vigilancia, algo que se comenta en la carta, pero no es en lo que se enfocan aquí. El RGPD ya está en mente de la sociedad, sin embargo ellos ven que hay otro tema, el de la justicia social. El reconocimiento facial determina si algo es una cara o no, si es un cuerpo o no. Y asigna una identidad. «Se podría hacer mucho análisis sin asignar una identidad», dice. 

Si pedimos a estos sistemas unos modelos de lo que es ser humano o lo que es una conducta problemática, no está tan claro. “No hay modelos aceptados en la ciencia que digan qué es una postura antisocial. Lo que es una postura antisocial es un objeto de constante debate en la propia sociedad”, explica Guersenzvaig. 

Entonces, ¿la protección de datos europea no es suficiente? “La GDPR es un marco legal muy bienvenido, pero podemos decir que hay una bisagra temporal donde algo puede ser legal pero la cuestión ética no está tan clara”.

 “A nosotros nos preocupa sobre todo esta dimensión ética. Nos parece que estos sistemas tienen una serie de problemas muy profundos. Algunos tienen que ver aspectos legales, pero para eso ya están el RGPD y otras leyes. Otros problemas tienen que ver con la técnica y otros con cuestiones filosóficas más profundas relacionadas con la manera en la que queremos vivir y las visiones del mundo que hay detrás de estos sistemas”. ¿Por qué les preocupan? “Porque vamos viendo los efectos perniciosos que pueden tener sobre la sociedad toda, y especialmente sobre los grupos más vulnerables”. 

El sistema de Renfe para vigilar a sus pasajeros

La alarma por la noticia del reconocimiento y análisis facial que Renfe planea implementar en sus estaciones fue lo que impulsó la idea de la carta de los académicos. El 17 de marzo nos enteramos por la prensa que Renfe iba a implementar análisis de reconocimiento facial en 25 estaciones de varias ciudades importantes de España, y estaba buscando empresa que pudiera desarrollar el software por 781.000 euros. 

La información venía de dos documentos que se habían subido a la Plataforma de Contratación del Sector Público, el anuncio de la convocatoria para la licitación y el pliego en el que se desarrollaban los puntos. En este se establecía que el adjudicatario debía desarrollar un software de análisis de imágenes de vídeo con el fin de disponer de una plataforma que sirva a la compañía para anticiparse a incidentes en estaciones de Madrid, Cataluña, Valencia, País Vasco y Málaga. 

El pliego solicitaba un sistema que debía ser capaz de clasificar a los usuarios por origen étnico, vestimenta o estado de ánimo. A las pocas horas de la publicación de aquel reportaje, el pliego con estos detalles fue despublicado del portal de contratación.

Este anuncio era la segunda parte de un piloto de inteligencia artificial que Renfe había puesto en marcha para detectar aglomeraciones, y levantó varias alarmas. Un sistema así vulneraría claramente las normativas europeas de protección de datos.

Como explicamos en este reportaje sobre reconocimiento facial y algoritmos, la vigilancia masiva está prohibida en Europa, y además, los sistemas de reconocimiento facial no son fiables ni efectivos, por lo menos a día de hoy.