Nada podría parecer más neutral que las matemáticas, y sin embargo, uno de los debates más concurridos es el de los sesgos de los algoritmos. La solución pasa por la transparencia algorítmica, algo que aún cuesta conseguir, a pesar de que leyes y ciudadanía lo exigen.
Un algoritmo es nada más -y nada menos- que una receta: una serie de procedimientos, un protocolo automatizado para producir unos resultados. La importancia que les damos actualmente está justificada porque hablamos de algoritmos computacionales, que cada vez se ocupan de más cosas, afectan a más personas y tienen más impacto.
Hay un algoritmo que elige la canción que escucharás en los próximos minutos, otro que te sugiere -o te insiste- que compres algo poniéndote anuncios en cada web que visitas, otro que te envía una selección de noticias en el momento en que estarás más receptivo. Los algoritmos son utilizados por empresas y gobiernos en todo el mundo, porque manejan más datos y son más rápidos que los humanos tomando decisiones.
El derecho a saber también alcanza a aquellos programas informáticos que a diario toman decisiones sobre la vida de los ciudadanos
El problema es que su radio de acción transciende el entretenimiento, y también se ocupan de cuestiones con impacto directo en la vida de las personas: por ejemplo, los que ejecuta la banca para otorgar créditos o seguros, los que utilizan los gobiernos en distintos países para redistribuir renta, algo que investigó The Guardian; o los que usan las empresas para calificar a sus empleados, como el caso de Deliveroo, considerado responsable de la discriminación de su algoritmo por un juzgado italiano. O BOSCO, uno que tenemos en España, que decide qué personas reciben el bono social de la electricidad.
La pandemia no ha hecho más que agudizar la tendencia. AlgorithmWatch, una ONG berlinesa que se dedica a evaluar y estudiar los algoritmos con impacto social, ha publicado un informe en el que denuncia que el uso de sistemas automatizados se ha disparado en 2020, principalmente en temas de bienestar social y gestión de la sanidad.
Código para el público pero sin el público
Civio es una fundación independiente y sin ánimo de lucro que lucha contra la opacidad de las administraciones públicas. Han denunciado la injusticia que se produce en España con el bono social de electricidad, cuyo software, además, no funciona. Entienden que el derecho a saber también alcanza a aquellos programas informáticos que a diario toman decisiones sobre la vida de los ciudadanos.
Han pedido acceso al código fuente de la herramienta llamada BOSCO, que determina quién tiene acceso y quién no a estas ayudas, y ante varias negativas por parte de la administración, han llevado a juicio la resolución del Consejo de Transparencia que les ha negado el derecho a revisar el software. Después de un tira y afloja han conseguido que el Centro Criptológico Nacional respondiera a algunas preguntas, pero no hay sentencia todavía.
☷
Algoritmos
Villanos o héroes de nuestro tiempo
Desde Civio no han intentado acceder a algoritmos más complejos que puedan estar siendo usados por la administración, pero el caso de BOSCO es más sencillo y por ello un buen lugar para empezar a pedir transparencia algorítmica.
David Cabo, codirector de CIVIO, dice que este algoritmo es perfectamente explicable, y hace lo que especifica la ley, que es pública. El problema es que no se puede auditar, porque el código no está accesible. “En general, todo el desarrollo del software público se hace de espaldas al público, en vez de hacerlo en público, que es algo que se hace -al menos en parte- en otros países como Reino Unido. Ni siquiera cuando el código está terminado es posible acceder a él, como estamos viendo con el caso del bono social”, explica.
El caso de Radar COVID
Radar COVID no tiene algoritmo pero es otro software público al que muchos ciudadanos han pedido transparencia, entre ellos, más de 230 académicos e investigadores, que han firmado una carta abierta. Ellos han estimado que esta app, una tecnología de carácter masivo y alto impacto social, “precisa de la cooperación de toda la sociedad y para maximizar su utilidad necesita ser descargada y activada por una cantidad sustancial de usuarios”.
Sergio Carrasco, jurista e ingeniero informático, explica que en el caso de Radar COVID, dados los datos que puede llegar a tratar, resulta aún más importante la transparencia, y así está indicado en las Directrices 04/2020 sobre el uso de datos de localización y herramientas de rastreo de contactos en el contexto de la pandemia del COVID-19 del European Data Protection Board, en que se concluye la necesidad de permitir la auditoría por parte de expertos independientes que verifiquen que la app sea adecuada y segura. “Si se hubieran seguido estos principios a rajatabla, seguramente se habría mejorado la confianza en el sistema”, reflexiona Carrasco, ante los problemas que ha tenido esta app en su efectividad.
Algoritmos explicables: qué dice la ley
Gemma Galdón es analista de políticas públicas, y la fundación que dirige, Eticas Consulting, acaba de presentar una guía para auditar algoritmos. ¿Por qué es necesaria la transparencia algorítmica?, le pregunto. “Para empezar, es un requisito legal”, explica. “No tanto la transparencia como la explicabilidad: el Reglamento europeo de protección de datos exige que los algoritmos sean transparentes, y que cuando se hace profiling (perfilado de datos) se haga una evaluación de impacto”.
Además de la normativa europea, hay leyes relacionadas con la transparencia y auditoría del software público aplicable por razón de la actividad. Uno de los principios generales de las actuaciones administrativas impuesto por la Ley 40/2015 es la transparencia, explica Carrasco.
“Difícilmente podemos entender que se cumple la normativa en aquellos casos en que se desconoce cómo se ha adoptado una decisión, o si se utiliza un mecanismo tipo blackbox que impide incluso a la misma administración pública trazar el camino por el cual se ha adoptado la misma”, dice.
Blackbox se refiere a los algoritmos “de caja negra”, una característica de ciertos algoritmos, sobre todo los de aprendizaje automático o Machine Learning. Significa que podemos saber qué datos entran (input) y qué resultados arrojan (output) pero nadie, ni siquiera su programador, sabe cuál es su funcionamiento interno.
¿Qué pasa en estos casos y cómo se auditan? Galdón dice que incluso así se pueden auditar. Se hace en base a sus resultados. Incluso sin saber cómo funciona, es posible saber a quién está impactando, y a través de lo que ocurre en su decisión final pueden reproducir su forma de pensar o aprender.
Las decisiones judiciales de ilegalizar algoritmos, como la de Deliveroo en Italia, se dan porque no se está cumpliendo la ley. “Lo que nos encontramos es que incumplir la ley es la norma”, afirma Galdón.
Código abierto vs. código auditable
Exigir transparencia, sin embargo, a veces choca con limitaciones legales muy evidentes, según Galdón. “Nos hemos encontrado que la transparencia algorítmica es un callejón sin salida, porque las empresas alegan temas de propiedad intelectual para no abrir sus algoritmos, y lo hacen legítimamente: si estamos pidiendo a las empresas que no vendan datos, pues tendrán que vivir de otra cosa, e igual vender algoritmos es una forma legítima de vivir”, alega.
Frente a esto, lo que podemos hacer es pedir responsabilidad algorítmica, algo que se hace a través de auditorías como las que su consultora lleva a cabo. Como terceros independientes, entran en el código, validan los resultados y presentan un informe que sin revelar el código valida esas prácticas.
Un algoritmo de reconocimiento facial de la Policía de Londres hablaba de un error de un 98% ¿Es aceptable?
Carrasco es más partidario de abrir código para su auditoría por cualquiera. “Las auditorías deberían poder ser realizadas por expertos independientes, y esto resulta complejo en casos en que al final son buscados por parte de la misma empresa”.
En el caso de Radar COVID, hay que diferenciar la parte del contrato de la del código de la app. La confidencialidad en el contrato con Indra fue una de las cláusulas esgrimidas por el Ministerio de Asuntos Económicos y Transformación Digital para denegar el acceso a toda la documentación que solicitamos desde Newtral.es.
Según Carrasco, “debemos rechazar la posibilidad de un establecimiento de confidencialidad tal que dificulte el cumplimiento de las obligaciones de transparencia impuestas, más en supuestos como este en que se busca un plus de transparencia”. En el caso del código, aunque por determinados supuestos se quiera mantener cierto control y dado que se trata de administraciones públicas, “los mismos pliegos deberían contemplar estos extremos para evitar problemas”, señala.
La mejora en las garantías en la licitación tecnológica es algo que Galdón ve necesario, porque “a la administración le está costando muchísimo incorporar cláusulas de responsabilidad tecnológica”. Le pregunto cómo ve la gestión del software público que se genera o se ha generado hasta ahora en España. Responde que bastante mal, pero como en todo el mundo. “Es verdad que el reto es brutal, de repente la tecnología está presente en todos los procesos y ministerios, administraciones, diputaciones, ayuntamientos, funcionarios han querido incorporar en un tiempo muy corto nuevas dinámicas con riesgos muy importantes”.
Ahora, la práctica
El Gobierno ha presentado en diciembre la nueva Estrategia Nacional de Inteligencia Artificial [PDF], cuya puesta en marcha movilizará una inversión pública de 600 millones de euros en el período 2021-23, y que contempla “regulación ética y social” para luchar contra la discriminación.
Galdón cree que “todas las estrategias nacionales de inteligencia artificial, incluso las regionales, tienen un problema compartido, que son poco específicas. Hacen llamadas a la ética y a la no discriminación en algoritmos pero no aterrizan esa demanda”, explica.
En las preguntas sobre cómo definimos que un algoritmo funciona, o qué porcentaje de falsos positivos o negativos es aceptable es donde debe haber más definiciones, según Galdón. “Por ejemplo en el bono social, si el algoritmo se equivoca un 5% o un 30% de los beneficiarios, ¿eso es aceptable socialmente?”, se pregunta, y cita el caso de un algoritmo de reconocimiento facial en el que la Policía de Londres hablaba de un error de un 98%. Lo que hay que preguntarse según ella es cómo exigimos que la industria revele cuáles son esas tasas de error.
“Yo creo que la época de los principios ya pasó, en temas de ética y responsabilidad algorítmica estamos en la fase de práctica. Ya sabemos que no queremos algoritmos discriminatorios. Eso ya nos hemos pasado los últimos 10 años debatiéndolo”, resume.
☷
Machine Learning
Inteligencia Artificial: cuál es su alimento y por qué tiene sesgos
Fuentes
- David Cabo, codirector de CIVIO
- Gemma Galdón, analista de políticas públicas
- Sergio Carrasco, jurista e ingeniero informático
- Directrices 04/2020 sobre el uso de datos de localización y herramientas de rastreo de contactos en el contexto de la pandemia de COVID-19
- Estrategia Nacional de Inteligencia Artificial [PDF]
- Documentación en Github de Radar COVID
- VICE – Court Rules Deliveroo Used ‘Discriminatory’ Algorithm
