Últimamente siempre hay un algoritmo al que echarle la culpa. Las series de TV que describen distopías aterradoras justamente porque no nos son demasiado lejanas, muestran a sociedades manejadas por tecnología opaca y omnisciente. Los documentales como ‘The Social Dilemma’ nos dicen que esa realidad ya existe y todo lo que leemos, compramos o nos gusta en redes sociales ha sido decidido por unos programadores en Silicon Valley.
El problema de todo esto es que no se queda en los productos de entretenimiento: los algoritmos están presentes en los procesos que utilizan gobiernos -tanto para distribuir renta como para definir sentencias de prisión– y empresas -que deciden qué noticias recibimos o si somos aptos para recibir un crédito o una donación de órganos- y tienen impacto en las vidas de millones de personas.
Casi todos los estados de Estados Unidos están usando algoritmos predictivos para configurar la planificación de patrullas policiales, sentencias en prisión, o las condiciones de libertad vigilada, según el Electronic Privacy Information Center, y este tipo de “algoritmos de gobernanza” están presentes también en 16 países europeos, según Algorithm Watch, una ONG berlinesa.
Un algoritmo no es más que un procedimiento que produce un resultado. No necesariamente numérico, no necesariamente computacional, y tampoco tiene por qué ser único
La preocupación por estar regulados por programas y algoritmos que permanecen secretos ha llevado a Civio, una organización independiente por la transparencia de lo público, a pedir por la vía judicial que se abra el código fuente de un programa que decide quién resulta beneficiario del bono social eléctrico. Comprobaron que la aplicación la estaba negando a personas que sí cumplían los requisitos. Han llevado a juicio la resolución del Consejo de Transparencia, porque entienden que “el derecho a saber también alcanza a aquellos programas informáticos que a diario toman decisiones sobre la vida de los ciudadanos”.
Qué es un algoritmo y cómo funciona
Los algoritmos llevan siglos con nosotros y nos han ayudado a diario a sobrevivir y a vivir mejor, en la mayoría de los casos. Un algoritmo no es más que un procedimiento que produce un resultado. “No necesariamente numérico, no necesariamente computacional, y tampoco tiene por qué ser único, es decir que no hay una única manera de conseguir un resultado”, explica Joséangel Murcia, matemático y profesor.
La receta de cocina se suele utilizar como ejemplo de un algoritmo, y sirve a Murcia para explicarnos por qué cree que no podríamos vivir sin ellos. “Nuestra mente tiene un componente analítico. ¿Conseguiríamos comer sin las recetas? Cuando alguien quiere reproducir un procedimiento para producir algo, una opción es usar la creatividad y ver qué pasa. La otra es coger el recetario”.
Pero cuando en los últimos años se habla de algoritmos, no nos referimos a recetas de cocina, sino al predominio de los algoritmos computacionales.
Victoriano Izquierdo, informático especializado en análisis de datos y cofundador de Graphext, utiliza algoritmos todo el tiempo. “Un algoritmo no deja de ser que tengas una entrada de datos, computes y transformes una salida, y al final es una función matemática. Tú le das unas variables y él te da una respuesta, y eso sirve para tomar muchas decisiones. Decisiones de todo tipo”.
Un algoritmo imprescindible para él es el que clasifica tus correos como spam o no. “Creo que tiene muchísimo impacto: nuestros emails están mercantilizados por tantas empresas y en tantos sitios que es prácticamente imposible que tú tengas el control de quién te puede escribir. Yo tengo 300 correos diarios, si todos los días tuviera que revisar si hay algo relevante en todos los correos perdería muchísimo tiempo, y perdería oportunidades profesionales importantes”.
Hay tantos ejemplos de algoritmos a nuestro alrededor que lo más probable es que sólo nos llamen la atención cuando fallen. Están presentes en las redes de comunicaciones cuando priorizan que tu móvil se conecte a una antena o a otra, en los procesos de los ordenadores que optimizan su funcionamiento, en la operativa de los bancos para detectar movimientos fraudulentos en tarjetas de crédito, en procedimientos médicos o en las noticias que verás primero en tu móvil cada día. “Al final los algoritmos son muy importantes cuando hay un recurso limitado y hay que administrarlo de la forma más adecuada”, dice Izquierdo.
Una máquina puede tomar una decisión más rápido, pero eso no la hace necesariamente más justa.
Los algoritmos también se han hecho indispensables en el recurso que se ha vuelto más limitado en la era de la sobreinformación: la atención. Y son fundamentales en el modelo de negocio de las compañías tecnológicas más grandes del mundo. Sus servicios recogen información de sus usuarios para crear grandes bases de datos que se utilizan para conocer mejor a sus audiencias y también para entrenar algoritmos de inteligencia artificial.
El modelo de estas plataformas, a las que Jaron Lanier llamó “servidores sirena” y Shoshana Zuboff denomina ya “capitalismo de vigilancia” es el que tiene consecuencias problemáticas, sobre todo cuando deja los derechos y las vidas de millones de personas en todo el planeta a merced de decisiones de los algoritmos, no siempre transparentes ni auditables. Una máquina puede tomar una decisión más rápido, pero eso no la hace necesariamente más justa.
Los sesgos que metemos en las máquinas
Verónica Alarcón es una abogada experta en casos de privacidad. Ha llevado varios casos que implicaban el funcionamiento de algoritmos, como los relativos a los buscadores en internet. Además de búsquedas del nombre de una persona que muestra resultados inveraces que afectan a su honor y protección de datos personales, otros de sus clientes se han visto afectados por la función de autocompletar, sugiriendo por ejemplo un término peyorativo o asociándola a la comisión de un delito.
En 2018, Safiya Umoja Noble, profesora de la Universidad de California del Sur publicó seis años de investigación académica en su libro ‘Algorithms of oppression’ sobre cómo los algoritmos de búsqueda de Google se vuelven racistas y sexistas al reflejar los sesgos de quienes los programan. Noble mostraba que al buscar “black girls” (niñas negras) todos los resultados que aparecían estaban ligados al porno.
“Hay un punto de vista dominante, masculino y occidental que se encuentra programado en la misma organización de la información. Tienes que recordar que un algoritmo es sólo un árbol de decisiones automatizado. (…) Y todas esas decisiones se correlacionan con la relación de los anunciantes en la plataforma. Google tiene un imperio llamado AdWords, y la gente apuesta en tiempo real para optimizar su contenido. Ese modelo siempre privilegiará a las personas con más recursos. Y eso significa que quienes no los tengan, como los niños, nunca serán capaces de controlar plenamente las formas en las que son representados, dada la lógica y los mecanismos de los motores de búsqueda”, dijo Noble en una entrevista. Google desde entonces ha introducido algunos cambios para solucionar este problema. Pero los algoritmos de inteligencia artificial que conllevan sesgos persisten en muchos ámbitos.
Otros estudios han analizado los resultados arrojados por sistemas de reconocimiento facial o de voz, o incluso en procedimientos médicos, y han descubierto sesgos racistas o sexistas también en muchos de ellos.
Las cajas negras
Muchos algoritmos de aprendizaje automático (Machine Learning) son de “caja negra”: este término de teoría de sistemas se refiere a que podemos saber qué datos entran (input) y qué resultados nos arroja (output) pero nadie, ni siquiera su programador, sabe cuál es su funcionamiento interno.
Las técnicas más modernas de inteligencia artificial -o técnicas de redes de neuronas- funcionan dándole a la máquina bases de datos masivos para que ella aprenda qué patrones se encuentran en unos datos. “Pero tú no sabes cuál es la combinatoria, ni qué componente juega”, explica Izquierdo.
“Esto sucede por ejemplo con los algoritmos para saber si una persona va a reincidir al salir de la cárcel, y te dice que es porque es negra. Eso pasa porque al algoritmo se le dan muchas variables y una de ellas por ejemplo es su raza. Y a lo mejor no le has dado la variable nivel educativo o nivel socioeconómico en el que se crió esa persona. Quizás si tienes las tres variables, la variable raza no sería tan predictiva”.
Transparencia algorítmica
La opacidad de los algoritmos está en el centro de muchos debates sostenidos por expertos, que proponen como solución la “inteligencia artificial explicable” (XAI, por sus siglas en inglés), que consiste en métodos y técnicas en la aplicación de inteligencia artificial tal que los resultados de la solución pueden ser entendidos por humanos expertos.
“No sólo para detectar el sesgo, no sólo para que la IA haga predicciones, sino para que nos ayude a tomar decisiones, para entender qué variables hacen que la gente se comporte mal porque eso hace que podamos diseñar políticas públicas para cambiar las cosas”, dice Izquierdo.
☷
Software público
El momento de la transparencia algorítmica
La solución o prevención a posibles fallos o sesgos una vez más es la transparencia algorítmica. Esto es en lo que se basó recientemente la solicitud por parte de académicos, investigadores y otros ciudadanos de más transparencia en torno a Radar COVID, la aplicación de rastreos de contactos española, empezando por la publicación de su código.
David Cabo, de Civio, ve esto como un paso adelante, aunque considera que «el código en sí es solo una pieza para conseguir que se puedan auditar realmente los sistemas públicos. Hay documentos de diseño del sistema, o que describen cómo se ha probado el sistema, que es lo que nos sirvió a nosotros en el caso del bono social para demostrar que había un fallo. En el ejemplo del COVID, no se ha publicado (hasta donde yo sé) información sobre cómo se ha hecho el piloto de La Gomera”, algo que también hemos solicitado desde Newtral al Consejo de Transparencia.
Hay muchas conversaciones activas en estos momentos sobre qué papel juega la regulación vía leyes versus la auto-regulación vía principios éticos, o sobre cómo asegurar que se permite la innovación pero sin perjudicar los derechos de los ciudadanos a su privacidad o a saber quién toma las decisiones que les afectan, comenta Cabo.
En España estamos a la espera de que se publique la Estrategia Nacional de Inteligencia Artificial, que debería abordar estos problemas y abrir un debate para escuchar propuestas y discutir soluciones. El objetivo, en todo caso, señala Cabo, «siempre es asegurarnos de que la aplicación indiscriminada y opaca de tecnología no sirve para recortar en la práctica los derechos de los ciudadanos (un algoritmo decide que tu vídeo en YouTube infringe copyright y lo elimina automáticamente, por ejemplo) o para generar indefensión, desplazando las decisiones públicas a sistemas que se describen como objetivos y no rinden cuentas, o recopilando información tremendamente personal, como tus contactos».
