Si la inteligencia artificial parece enigmática no es porque esté lejana, sino porque es opaca. Cada vez hay más algoritmos presentes en plataformas y programas que usamos a diario, pero sabemos poco sobre ellos. Aunque sus lógicas sean invisibles, sus efectos son evidentes.
¿Cómo vigilar a los algoritmos? Una opción son las iniciativas de la sociedad civil, universidades u organismos independientes que han empezado a buscar maneras de tener más información sobre estos trozos de código que se utilizan para tomar decisiones.
En España, una consultora acaba de lanzar el primer observatorio de algoritmos con impacto social en el que se recolectan datos de una serie de 57 algoritmos considerados con impacto social, de los que 16 tienen aplicación en el territorio español, porque son del Gobierno y de una docena de grandes compañías como Google, Facebook, Twitter, Netflix, Uber o Microsoft.
Los algoritmos usados en las relaciones laborales de Uber, Deliveroo, Glovo y los que se pueden estar usando en proyectos de reconocimiento facial o vigilancia biométrica “son probablemente dos de los que más impacto social pueden estar teniendo en España hoy”, dice Diego Naranjo, desde la European Digital Rights (EDRi), una de las mayores asociaciones que defienden los derechos civiles en internet.
También existen “los de toda la vida”, según Naranjo, igualmente importantes a nivel efectos en las vidas de los ciudadanos: “son los que deciden si el banco te da un préstamo o hipoteca (credit score) y los que filtran contenidos en internet y te lo ofrecen en función de lo que la industria de la publicidad quiere enseñarte”. Es decir algoritmos de recomendación en YouTube, Amazon o el que hace una selección de las noticias que verás en tu muro de Facebook o Instagram.
Auditar algoritmos para la evaluación de riesgos
Algunos gobiernos también buscan cómo vigilar a los algoritmos. Garantizar que haya más transparencia y confianza en torno a ellos es uno de los objetivos de la Comisión Europea, que en abril presentó un nuevo reglamento sobre inteligencia artificial, que aún debe ser aprobado.
Tanto ese reglamento como la Estrategia Nacional de la Inteligencia Artificial, presentada por el Gobierno de España el año pasado, incluyen la auditoría de los algoritmos como uno de los principales elementos del sistema de evaluación de riesgos. En nuestro país, aunque en julio no se sabía qué organismo se encargaría de esto, se anunció que se ponía en marcha el Observatorio sobre el Impacto Social de los Algoritmos (Obisal), dependiente del Observatorio Nacional de Tecnología y Sociedad (Ontsi), y en ese momento se encontraba en proceso de captación de expertos y constitución de grupos de trabajo sectoriales. Preguntados por Newtral, desde la Secretaría de Estado indican que se sigue avanzando en la definición del Observatorio, estructura y actuaciones.
A pesar de la coincidencia en el nombre, el Observatorio de Algoritmos con Impacto Social que acaba de lanzar Eticas Research & Consulting, una empresa especializada en consultoría empresarial, no tiene relación con este. “No hemos tenido contactos con el Gobierno”, aseguran desde la compañía. Sobre el nombre Eticas Foundation que se encuentra en la web de la consultora, preguntados por Newtral, responden que se encuentran tramitando la creación de una fundación y por eso todavía no está reflejado en el sitio online.
Este observatorio consiste en una base de datos en Airtable que puede verse en la versión en inglés de su web. Es “un repositorio de toda la información que hemos podido extraer de los algoritmos que recoge”, explican a Newtral.es.
Algoritmos opacos pero con impacto social
En Newtral llevamos tiempo escribiendo sobre situaciones en las que distintos algoritmos o sistemas de inteligencia artificial impactan de forma negativa o injusta sobre un grupo de personas. Estas automatizaciones son la solución a miles de problemas a los que nuestras sociedades complejas se enfrentan a diario, y como hemos podido comprobar durante la pandemia, son parte de la digitalización que nos ha permitido seguir adelante cuando todo se paraba.
Pero aunque las máquinas suelen ser eficaces y trabajar con rapidez, algoritmo no es sinónimo de decisiones justas.
☷
Inteligencia artificial
Qué es la IA y por qué tiene sesgos
Los sesgos de los algoritmos provienen de los humanos: son los de la información con la que se los entrena. Están en el centro de un debate en el que se cuestiona la ética en los desarrollos de inteligencia artificial. Sabemos que provocan vulneración de las libertades y derechos, pero además tienen efectos directos sobre la vida de las personas: cuando es un algoritmo el que decide que se te otorgará o no un crédito que puede cambiar tu vida en los próximos 5 o 10 años, cuando es un algoritmo el que te evalúa en el trabajo, o cuando decide la cantidad de trabajos se te asignan, o si te contratarán o no.
Entre los algoritmos observados por Eticas se encuentran varios que influyen sobre millones de personas en España, en países de Latinoamérica y en todo el mundo, como el que utiliza Youtube para recomendar contenidos.
También hay varios relativos a reconocimiento de imágenes: el utilizado por la policía nacional de Italia; y otro para biometría facial, desarrollado por Amazon. Se pueden encontrar muchos utilizados por las fuerzas de seguridad para predecir crímenes, a lo Minority Report: el de la policía belga, el de la policía de Trento, Italia; el de la policía y servicios de inteligencia daneses desarrollado por la compañía estadounidense Palantir.
Aparecen en la lista el del ministerio de Justicia de Polonia, que se utiliza para asignar casos a jueces; e-Riscanvi utilizado en las prisiones catalanas para evaluar el riesgo de reincidencia; e iBorderCtrl, un detector de mentiras automático desarrollado por la firma European Dynamics y utilizado en las fronteras de la Unión Europea para extranjeros.
Encontramos también algoritmos utilizados para categorizar a grupos de población vulnerable: uno para predecir el riesgo de embarazo adolescente, otro de abandono de la escolarización, ambos en Salta, Argentina.
Hay varios ejemplos de algoritmos para determinar ayudas sociales: uno del Gobierno flamenco para hacer perfiles de los candidatos a empleos públicos, que basado en su comportamiento online, predice sus intereses y la adecuación al puesto de trabajo. El utilizado por el Servicio Público de Empleo Estatal (SEPE) en España, que determina beneficios, formación y oportunidades de empleo a desempleados. En Colombia, otro denominado SISBEN, utilizado para determinar qué grupos reciben beneficios sociales.
PredPol, también en la lista, es un algoritmo predictivo que utiliza el ministerio del Interior de Uruguay para predecir los puntos calientes en los que ocurrirán crímenes. Este sistema ya había sido utilizado por otras fuerzas policiales como las de Oakland en California, y Kent en Inglaterra, que terminó abandonándolo. El software de PredPol es propietario y opera como una caja negra, concepto que hemos explicado en Newtral. Esto quiere decir que al ser propiedad protegida, sus resultados no pueden ser explicados a través de la experimentación causal. Aunque se alimenta de datos públicos, no podemos saber cómo funciona y por qué arroja los resultados que salen de él.
Como Cathy O’Neil apunta en su libro Armas de Destrucción Matemática, estos sistemas de “puntos calientes” no intentan predecir el comportamiento individual, sino marcar puntos geográficos donde hay más probabilidades de que ocurran hechos delictivos.
Mientras esto parece ser una forma objetiva de luchar contra el crimen, en realidad el algoritmo produce unos resultados que provocan daño en unas comunidades marginalizadas. Como los crímenes más graves ocurren con menos frecuencia que los pequeños hurtos, estos constituyen la porción más grande de todo el conjunto de datos del algoritmo. El resultado de esto es que el modelo tiende a dirigir la atención de la policía hacia ese tipo de crímenes, que normalmente suceden en barriadas de clase trabajadora o minorías sociales. Se produce entonces un círculo vicioso: cuantas más patrullas se envían a esas zonas, más actividad criminal localizada en esas zonas es reportada al algoritmo. El proceso confirma la predicción del algoritmo y estos barrios continúan siendo patrullados y reportados excesivamente.
Cómo observar a un algoritmo
La dificultad de acceder al código de algoritmos como estos implica que el trabajo de búsqueda se pueda alargar en el tiempo, como explican desde la organización. ¿Cómo lo hacen y qué es lo que revisan en cada algoritmo? Se requiere un trabajo de fondo de manera constante y también de actualizaciones periódicas, explican.
“Suele empezar al encontrar información pública y luego investigamos en profundidad sobre el algoritmo, pero sin acceso a su código es muy difícil. Puede tomar muchísimo tiempo depende de los objetivos que tienes, nosotros queremos actualizar el observatorio mensualmente si es posible”. El proyecto se denomina colaborativo y la página tiene un enlace para que cualquier persona pueda escribirles. Naranjo cree que la iniciativa “es interesante, porque lo que estamos viendo es que en general se lanzan muchas aplicaciones basadas en algoritmos que pueden tener un impacto enorme en nuestra sociedad”.
☷
Transparencia algorítmica
Qué pedimos a un algoritmo para que sea ético
La información que podemos encontrar actualmente sobre cada uno de los algoritmos seleccionados se encuentra diseccionada en categorías, que incluyen quién lo desarrolla, quién lo aplica, en qué ámbito geográfico, si ha sido auditado, con qué objetivo se aplica y qué impacto social tiene, entre otras. Muchas columnas se encuentran vacías. “Desafortunadamente, en muchas ocasiones no contamos con la información, pero no hemos querido dejar de incluir las categorías para denunciar la falta de información que rodea el uso de sistemas de automatización de decisiones”, dicen desde Eticas.
Desde EDRi señalan que lo que se debería pedir a un algoritmo para auditarlo es saber qué usa como base para los cálculos (input), cómo los hace y qué es lo que saca como resultado (output). ¿Es suficiente la categorización de este observatorio? Naranjo, que lo califica como una categoría inicial, dice que “siendo una de las primeras iniciativas que se hacen quizá no es completa, pero habrá que verlo sobre la marcha”.
Una de las formas que tiene Eticas de detectar sesgos o fallos del sistema será a través de las auditorías que realiza, que se denominan externas cuando se hacen sin acceso al código. En estos momentos, en alianza con la Fundación Ana Bella, la consultora está realizando una auditoría de este tipo sobre VioGén, el sistema del Gobierno cuyo algoritmo asigna riesgo a las mujeres víctimas de violencia de género.
Fuentes
- Diego Naranjo, Responsable de Políticas, European Digital Rights
- Eticas Research & Consulting
- Secretaría de Estado de Digitalización e Inteligencia Artificial
- Propuesta de Reglamento del Parlamento Europeo para la Ley de Inteligencia Artificial
- Estrategia Nacional de la Inteligencia Artificial [PDF]
- Sistema VioGén
