España tendrá una agencia que controle los algoritmos de inteligencia artificial que afectan a sus ciudadanos. En la ley de los Presupuestos Generales del Estado para 2022 se ha aprobado la creación de un organismo autónomo en su gestión, configurada como una agencia estatal con patrimonio propio.
La Agencia Española de Supervisión de Inteligencia Artificial (AESIA) auditará algoritmos de redes sociales, administraciones públicas y empresas. El objetivo es “minimizar los riesgos significativos sobre la seguridad y salud de las personas, así como sobre sus derechos fundamentales, que puedan derivarse del uso de sistemas de inteligencia artificial”.
Más País junto con Verdes Equo han pactado con el Gobierno de PSOE-Unidas Podemos la inclusión de esta enmienda, que destinaría 5 millones en los presupuestos de 2022.
La cantidad de algoritmos de inteligencia artificial que gobiernan nuestra vida cotidiana ha hecho que sus riesgos necesiten ser atajados, porque sus lógicas suelen ser invisibles pero sus efectos son evidentes. Desde que en 2018 las investigadoras Joy Buolamwini y Timnit Gebru demostraran cómo las tecnologías de procesamiento de datos faciales están sesgadas contra las personas negras, en particular mujeres, se han sucedido otras investigaciones en las que los sesgos de los algoritmos constituyen uno de sus principales problemas en la actualidad.
La solución a estos problemas podría ser la creación de auditorías, observatorios de algoritmos que vigilen el funcionamiento de estos automatismos. Bajo el principio de la transparencia algorítmica, hay intentos desde la sociedad civil y consultoras privadas para tratar de arrojar claridad sobre sus efectos.
Sesgos y cajas negras
Un algoritmo es un procedimiento, una receta automatizada, una función matemática a la que le das unas variables y te da una respuesta. Los algoritmos de los que hablamos en estos tiempos son computacionales, y están presentes en todas las esquinas de nuestro mundo digitalizado, por lo general para hacernos la vida más fácil.
Son indispensables para que funcionen redes sociales, buscadores, comercios en línea, periódicos digitales, actividades tan presentes en nuestro día a día que parecen invisibles. Un algoritmo es el que oculta los correos electrónicos indeseables en una carpeta de spam, otro el que elige canciones similares a las que ya te han gustado; otro te envía una selección de noticias al email en el momento del día en que sueles revisarlo, otro decide si eres apto para recibir un crédito de tu banco.
«La radiografía que una Agencia Nacional de Auditoría de Algoritmos puede hacer sobre nuestra sociedad no tiene precio»
Como pueden manejar datos de forma masiva y son rápidos tomando decisiones, son utilizados por empresas y gobiernos en todo el mundo. El problema empieza cuando esos algoritmos toman decisiones que pueden tener un impacto profundo en las vidas de las personas -como los relativos a su estadía en prisión o créditos bancarios-, y su código no está disponible para revisión.
Muchos algoritmos de aprendizaje automático (Machine Learning) son de “caja negra”, término con el que se refiere a la opacidad de estos sistemas: podemos saber qué datos entran (input) y qué resultados arroja (output) pero ni siquiera su programador sabe cuál es su funcionamiento interno, como hemos explicado en Newtral.es.
Una agencia para controlarlos a todos
La Agencia Española de Supervisión de Inteligencia Artificial surge en parte por esta dificultad de analizar ciertos tipos de algoritmos en los que no basta simplemente con tener el código o en los que, como las redes neuronales profundas, pueden llegar a convertirse en una caja negra. Y responde al llamado de crear un organismo que supervise el cumplimiento de la normativa de inteligencia artificial en la que está trabajando la Comisión Europea.
Este borrador europeo, el AI Act, pretende establecer una escala de riesgo para evaluar el impacto social de diferentes tipos de algoritmos en diferentes sectores industriales (como la movilidad, o la seguridad), establecer un sello de calidad ética para los algoritmos de decisión automatizada que produzcan sector privado y sector público, y hacer obligatoria la transparencia algorítmica para las empresas.
La normativa europea contempla la creación del European Artificial Intelligence Board, una agencia europea que se verá ayudada por los “supervisores nacionales”. Sí, una de ellas sería nuestra AESIA. Tanto desde Más País como los expertos consultados por Newtral.es ven posible que pueda funcionar de la misma manera que el régimen general de protección de datos y su supervisor nacional: la Agencia Española de Protección de Datos (AEPD).
España se ha ofrecido como campo de pruebas de aplicación de este reglamento (AI Act) por lo que la creación de esta agencia de supervisión de la inteligencia artificial en nuestro país parece el paso natural y daría cumplimiento al artículo 49 del AI Act.
Qué puede hacer una agencia nacional por los algoritmos
Héctor Tejero es diputado y coordinador político de Más País. Aclara que aún están buscando fecha para reunirse con el Gobierno a hablar de los detalles de la ley antes de llevarla al Congreso, por lo que las opiniones vertidas para este reportaje corresponden a Más País-Verdes Equo.
Ante el problema de la discriminación que ejercen los algoritmos, la agencia será un organismo público que pueda auditarlos de manera independiente, a la manera de la Comisión Nacional de los Mercados y la Competencia (CNMC) o la Autoridad Independiente de Responsabilidad (AIReF).
Tejero enumera tres casos en los que esta agencia será especialmente útil: para algoritmos utilizados por las administraciones públicas; para aquellos que tengan consecuencias en las redes sociales; y cuando son utilizados en el marco de una relación laboral o comercial.
Muchos algoritmos que afectan a ciudadanos de nuestro país pertenecen a empresas extranjeras, ¿cómo actuaría esta agencia? Los autores de la propuesta creen necesario tener un acuerdo legislativo a nivel europeo, pero recuerdan que una empresa que opera en España está obligada a cumplir la legislación española.
“Si cambias tu configuración en Twitter a Alemania, dejas de ver cuentas nazis. ¿Por qué? Porque la legislación alemana es muy restrictiva en materia de delitos de odio y exhibición de propaganda nazi”, explica Tejero y señala el caso reciente de las empresas de reparto de comida tipo Deliveroo o Uber que tendrán que cambiar su modelo de contratación para operar en España. “En la ley que establezca a la Agencia se puede exigir que las empresas tengan que colaborar con la Agencia en los procesos de auditoría, como ya hace, por ejemplo, la Ley Rider, o de cara a la emisión de informes públicos sobre las consecuencias del uso de algoritmos en algún dominio de la vida pública”, indica.
En la enmienda aprobada no se especifica si la agencia podrá sancionar además de vigilar, pero desde Más País-Verdes Equo creen que debería tener capacidad correctora y sancionadora, como ya tiene la Agencia Española de Protección de Datos.
Esta capacidad es una de las “responsabilidades mínimas” para una verdadera Agencia Nacional de Supervisión de la Inteligencia Artificial, según María Luque, consultora de estrategia y comunicación de políticas públicas tecnológicas.
Luque la lista junto con otras funciones que debería cumplir, en su opinión: una definición más profunda de los estándares éticos que queremos aplicar a los algoritmos; la creación de estándares de trabajo para la creciente industria de la auditoría algorítmica; y la generación de información para hacer transferencia de conocimiento.
En relación a esto último, Luque se refiere a generar bases de datos de casos de uso de auditoría, un set de casos lo más amplio posible sobre sesgos comunes encontrados en los algoritmos, clasificarlos por industria, tipo de sesgo, tipo de impacto, en base a casos reales. “Trabajamos aún demasiado sobre la teoría. La radiografía que una Agencia Nacional de Auditoría de Algoritmos puede hacer sobre nuestra sociedad no tiene precio”.
La neutralidad de una agencia pública
Las tecnológicas cuidan sus algoritmos como un tesoro. ¿Hastá qué punto puede actuar esta agencia nacional de supervisión de algoritmos ante grandes empresas tecnológicas que no quieran abrir su código al escrutinio público? “No creo que se trate tanto de ceder el código (aunque hay propuestas de que en el caso de su uso en administraciones públicas el código debería ser público) como de que los algoritmos que se usan sean evaluados garantizando que se respeta la propiedad intelectual”, dice Tejero.
“Un ejemplo similar es la salud pública. Nadie pide a Coca Cola que ceda su receta, pero sí que se cumplan y garanticen unos criterios de salubridad, que aporte la información nutricional y que existan etiquetas sobre si es saludable o no”. Tejero menciona a Gemma Galdón, consultora que ha propuesto un “prospecto algorítmico” equivalente al que vienen en los medicamentos, y el diputado considera que habrá que desarrollar e impulsar algo así en el ámbito de la inteligencia artificial.
En octubre de 2021, esta consultora privada lanzó un observatorio de algoritmos desde su firma, Eticas Research & Consulting. Recogió datos de 57 algoritmos con impacto social, de los que 16 tienen aplicación en el territorio español, porque son del Gobierno y de una docena de grandes compañías como Google, Facebook, Twitter, Netflix, Uber o Microsoft. La base de datos recoge información publicada previamente, ante la dificultad de conseguir acceso directo a los algoritmos. Cuando estas auditorías se hacen sin acceso al código, se denominan externas.
Luque no considera el uso de la auditoría algorítmica como herramienta para eliminar los posibles sesgos de una tecnología IA basada en algoritmos como una solución 100% efectiva. Las empresas pueden usar de buena fe la auditoría para generar un cambio en la cadena lógica del algoritmo o pueden contratar un servicio de auditoría laxo a una consultora (que no ejecute una verdadera evaluación) para generar un impacto positivo en reputación. “Esto sucede porque no hay estándares comunes o un cuerpo normativo que regule la actividad de los auditores de algoritmos”, señala.
Por el momento, la AESIA contará con 5 millones de euros, lo que es menos de la mitad del presupuesto que utilizó la AEPD en su primer año (unos 13 millones de euros). Luque considera que puede resultar suficiente si se centra el objetivo principal es esta agencia nacional de supervisión de algoritmos en regular y estandarizar su uso en industria y sector público. Además, en su puesta en marcha se podrían asignar más fondos vía transferencias.
Estándares comunes
Tejero sostiene que la Agencia debería impulsar la investigación y desarrollo en materia de evaluación y auditoría algorítmica en España. Es decir, investigar métodos que faciliten comprender por qué hacen lo que hacen algunos algoritmos.
Pero muchos de los algoritmos más utilizados por los ciudadanos pertenecen a empresas que guardan estos códigos bajo secreto, y las que han presentado algún tipo de auditoría lo han hecho de forma voluntaria, con parámetros que no están estandarizados.
¿Cuál es el plan de la Agencia con los algoritmos de caja negra? Tejero dice que en esos casos, “sí que es posible diseñar una serie de pruebas que muestren, por ejemplo, si el algoritmo ha aprendido a discriminar por cuestiones genéricas como género, raza, etc. En otros casos esas pruebas deberán ser mucho más dominio-específicas en función de la tarea concreta para la que ha sido diseñada el algoritmo”.
Justamente por la dificultad de analizar los algoritmos de caja negra, es que una agencia nacional de supervisión de algoritmos como esta debe trabajar también en desarrollar estándares comunes, según Luque, que explica que la evaluación de algoritmos con impacto social no puede quedar en manos privadas únicamente.
“Las auditoras privadas difícilmente pueden aplicar un criterio coherente y unificado para entender y evaluar los algoritmos”, dice la experta, que ha celebrado en Twitter la neutralidad de una agencia pública, que “nos libra de caer de monopolios epistémicos de auditoría algorítmica”.
Su opinión personal a primera vista sobre la enmienda es que, en general, el objetivo que persigue no es el prioritario, y las competencias que se le asignan no son suficientes.
Luque no le ve «sentido práctico», cree que esto no está en línea con lo que se hace en otros países y señala una posible duplicación de tareas que ya están en manos de la Secretaría de Digitalización e Inteligencia Artificial. Por ejemplo, Reino Unido supervisa la implementación de la estrategia nacional de inteligencia artificial a través de su AI Office, cuyo equivalente en España sería la SEDIA.
El objetivo principal de la AESIA según el texto aprobado es supervisar la implementación de la Estrategia Nacional de Inteligencia Artificial, y en España la SEDIA ya hace un trabajo supervisando la implementación de su articulado, por lo que preguntamos a Más País-Verdes Equo qué funciones concretas o qué objetivo tendría la agencia para no duplicar esfuerzos.
Dicen que entre los objetivos está también minimizar los “riesgos significativos sobre la seguridad y salud de las personas, así como sobre sus derechos fundamentales, que puedan derivarse del uso de sistemas de inteligencia artificial”, y explican que “en tanto que muchos de esos usos pueden darse en el marco o impulsados por las administraciones públicas es necesario que exista un organismo independiente que tenga la capacidad material y legislativa de supervisarlas”. Creen que eso implica que no habrá duplicación de esfuerzos.
Fuentes
- Héctor Tejero, diputado y coordinador político de Más País
- María Luque, consultora de estrategia y comunicación de políticas públicas tecnológicas en Mission-Oriented
- Proyecto de Ley de Presupuestos Generales del Estado 2022
- AI Act
no me fio mucho de estos nuevos "verificadores de la verdad"