Expertos analizan la Ley de IA de la UE: “Los riesgos colectivos son completamente ignorados”

En momentos en que muchas voces parecen estar de acuerdo en que hay que regular la inteligencia artificial, la propuesta de ley de la Unión Europea ya está sobre la mesa. En plenas negociaciones entre las instituciones de la UE, expertos consultados por Newtral analizan las claves y los riesgos de la propuesta de la que será la primera gran ley sobre IA y que determinará muchos movimientos futuros en la industria. 

Anteponer derechos humanos limitando los usos más lesivos 

En cuanto se conoció el nuevo texto, con las enmiendas incorporadas, grupos defensores de derechos humanos y activistas digitales celebraron la victoria que supone la prohibición de los usos más nefastos: cuando se utiliza IA para manipular, para explotar vulnerabilidades de las personas, o para usos intrusivos y discriminatorios.

La Organización de Consumidores Europeos (BEUC), European Digital Rights (EDRi), Access Now, y Xnet han situado la aprobación de estas enmiendas entre los principales aciertos de la propuesta, así como la obligación de requerir por ley más transparencia de la IA en los procesos asociados a los sistemas con alto riesgo. “Europa necesitaba desesperadamente una regulación eficaz de la IA en torno a nuestros derechos y libertades”, ha dicho Sarah Chander, asesora de políticas de EDRi.  

“Se está consiguiendo que los derechos humanos sean la medida, y no la valoración de impacto” (S. Levi)

“Aunque la IA puede mejorar nuestras vidas en muchos aspectos, existe la preocupación fundada de que los sistemas de IA también puedan perjudicar a los consumidores. El resultado de la votación de hoy significa que el Parlamento está decidido a mejorar la protección de los mismos y a respetar los derechos fundamentales de los usuarios de los sistemas de IA” ha dicho por su parte Ursula Pachl, directora de BEUC. Simona Levi, de Xnet, ha dicho que “se está consiguiendo que los derechos humanos sean la medida, y no la valoración de impacto” en un mensaje a Newtral.es.

Uno de los peores ejemplos de ese impacto se encuentra en el caso reciente en Países Bajos en el que un algoritmo para prevenir fraude en las ayudas a guarderías terminó causando daños irreparables en la vida de decenas de miles de familias, que se vieron abocadas a la pobreza a causa de las deudas contraídas con la agencia tributaria. Hubo afectados que se suicidaron y más de mil niños acogidos en hogares de guarda. 

☷
Reconocimiento facial

Los algoritmos que se quedan con tu cara

“Desde este escándalo”, dice Chander, “y los sistemas policiales predictivos que automatizan la elaboración de perfiles raciales, y diversas formas de vigilancia masiva basada en la IA, Europa necesitaba desesperadamente una regulación eficaz de la IA en los ámbitos que afectan a nuestros derechos y libertades”. Chander indica que al introducir prohibiciones sobre el reconocimiento facial en espacios públicos, la vigilancia policial predictiva y el reconocimiento de emociones, el Parlamento Europeo está avanzando hacia una legislación tecnológica “que antepone los derechos humanos a los beneficios”.  

Desde Xnet también consideran que esta medida llega a tiempo. “Estábamos asistiendo a una escalada de sueños húmedos distópicos por parte de las instituciones públicas y privadas en muchos ámbitos desde el trabajo, al acceso a los servicios y mucho más”, dice Simona Levi, su fundadora. “Como ejemplo casi frívolo, es de estos días el dictamen de la AEPD que afirma que la Fira del World Mobile Congress no puede exigir reconocimiento facial para la entrada. El voto del Parlamento Europeo pone un primer freno claro a todo esto”. 

Una ley ‘talla única’ para protegernos de los riesgos de la IA

Empecemos por el principio: ante el escenario actual de las IA ¿es posible proteger los derechos humanos a través de una regulación como esta? No, según Lorena Jaume-Palasí, eticista y experta en filosofía del derecho, que en vista de que la propuesta aún se está negociando, se limita a comentar los aspectos estructurales y metodológicos de la ley, que ya no cambiarán. 

La ley de IA de la UE “se trata de un instrumento relativo al derecho mercantil, por lo que el foco legal no concuerda con los discursos políticos sobre una regulación diseñada para proteger los derechos humanos, que juegan un rol secundario en ese contexto legal”, explica. La calificación de los riesgos de la IA que presenta la propuesta de ley le recuerda a clasificaciones que solemos hacer con productos menos complejos “como una nevera o lavadora”. Sostiene que estos sistemas de automatización no son tan “simples” como una nevera convencional, son infraestructuras complejas que evolucionan dentro de un ecosistema social. 

¿Qué hacemos por ejemplo con un sistema de alto riesgo de polución y bajo riesgo de violación de derechos laborales, en qué categoría lo metemos? (L. Jaume-Palasí)

“Son sistemas con una dimensión material apabullante de cables, de centros de datos, de hordas de trabajadores en centros de anotación, limpieza y corrección de datos, de abastecimiento contínuo de energía y agua para operar y enfriar los centros de datos, con hardware con un ciclo de vida muy corto, que se despliegan de forma muy diferente dependiendo del sector de aplicación”, explica Jaume-Palasí. 

Dado que no hay sector en nuestra sociedad en el que no se aplique la IA, tanto en el terreno laboral como en el financiero, pasando por agricultura, turismo, transportes y salud pública, la ley asume que se pueden crear reglas que valgan para los riesgos en todos esos contextos. Esto “no es ortodoxo a nivel legal: en nuestra cultura hemos desarrollado diferentes disciplinas legales, con diferentes metodologías e instrumentos, para regular cada sector de nuestra sociedad. Esta normativa es como confeccionar un pantalón unisex y de talla única en un contexto en el que precisamente la talla única no sirve para todos. Y precisamente eso delata ya qué partes de nuestras sociedades salen peor paradas en esta regulación”, advierte esta experta en IA. 

Entre la inseguridad jurídica y una lista de verificación “cosmética”

Los juristas consultados por Newtral.es contemplan la propuesta con ciertas reservas. La falta de sanciones fuertes preocupa a Carlos Almeida, abogado con una larga trayectoria en derechos digitales, quien, aunque ve bien “poner trabas al horizonte PreCrimen de Minority Report”, teme que sin castigos penales fuertes se vulneren las prohibiciones. “Y los primeros en hacerlo serán los Estados”, augura. 

Sergio Carrasco, abogado e ingeniero informático, entiende que la norma es oportuna, pero cree que hay que analizar realmente qué se puede obtener en el balance de los efectos que una normativa restrictiva pueda tener en realidad. 

Quien analiza el fondo de estos problemas técnicos de la ley es Jaume-Palasí, que dice que las técnicas legales de la normativa son problemáticas porque requieren el desarrollo de criterios clasificatorios, y al mismo tiempo la ley es muy poco concreta. La clasificación de riesgo de los usos de la IA es el instrumento central de esta propuesta de ley, pero el riesgo no es un estado puntual sino un proceso multidimensional, según la experta. Esto hace que la propuesta termine siendo muy reduccionista, porque no considera todos los aspectos de este tipo de infraestructuras sociales, sino que se limita a ver el sistema como un producto aislable del contexto de aplicación. “Reduce su regulación a una mera cuestión de seguridad garantizable con sellos y auditorías, que son más bien unas listas de verificación cosméticas, ya que sólo analizan una parte”, dice la experta. 

Las infraestructuras que hacen posibles las tecnologías de IA conllevan multitud de riesgos: medioambientales, de violación de derechos de autor, de competitividad, derechos fundamentales (como la dignidad y la privacidad de las personas) y de vigilancia masiva, y la normativa lista varios de ellos como riesgos potenciales. “Pero no provee mecanismos para balancear y sopesarlos”, observa Jaume-Palasí, y pone varios ejemplos. 

“¿Qué hacemos por ejemplo con un sistema de alto riesgo de polución y bajo riesgo de violación de derechos laborales, en qué categoría lo metemos? ¿Qué es un riesgo de violación de derechos laborales: mínimo, limitado, alto o inaceptable?”. Jaume-Palasí indica que asimismo, los riesgos sociales, es decir riesgos de carácter colectivo (como los que afecten a la cohesión social y económica, o al desarrollo espacial equilibrado) son completamente ignorados por esta ley de IA. “Y eso que la IA, como toda infraestructura, opera precisamente en ese nivel colectivo”, apunta. 

Tanto ella como Carrasco hablan de inseguridad jurídica. Las ambigüedades de un texto legal que genera más preguntas que respuestas requerirá de la jurisprudencia para aclararlas, dice la experta. Carrasco coincide: «No queda al final claro el alcance de todas estas obligaciones, y tratándose además de una materia tan compleja como es la IA, estas omisiones al final son todo menos deseables.

La discrecionalidad de las empresas y un misil al código abierto 

Los parlamentarios europeos han incluido en el artículo 6 una capa extra que deja en las manos de los proveedores de IA determinar si su servicio tiene riesgo alto, como advierten varios grupos defensores de derechos civiles, y como adelantamos ya entre las claves de la ley en Newtral. 

La Organización de Consumidores Europeos lista entre los aspectos negativos de la ley de IA esta dosis extra de discrecionalidad para las empresas, y agrega otro: la prohibición del reconocimiento de emociones no alcanza a los consumidores, lo que puede llevar a intrusiones graves en la privacidad y poner en riesgo la capacidad de tomar decisiones. 

La propuesta de ley de IA es “un misil a los movimientos open source”, ha dicho en Twitter Andrés Miguel Torrubia, emprendedor y fundador de un instituto que da formación en IA. Según él, la legislación es disuasoria, no ya para nuevos desarrollos en código abierto, que tendrán que pasar por los entornos controlados de pruebas o «sandbox regulatorios», sino para el acceso en Europa de modelos fundacionales como LLaMA, el sistema de IA creado por Meta, de momento abierto para investigación. 

“No hay que pasarse de frenada y en nombre de los derechos humanos generar excesivos impedimentos equiparando el desarrollo ciudadano con el de las Big Tech, sobre todo ahora que el software libre estaba ganando la partida a los monopolios”, dice Levi. Ella también cree que los repositorios libres no deben ser penalizados y hay que reforzar las excepciones que los diferencian de la implementación, que ya existen en el considerando pero están “demasiado tímidamente” en el articulado. 

La transparencia, antídoto normalizador del riesgo en la ley de IA

Una de las principales medidas que más aparece en los discursos de los europarlamentarios es la transparencia que exige esta ley para la IA. Daniel Leufer, analista de políticas principal de Access Now, la menciona como una de las mayores victorias de los ciudadanos en esta ley, sobre todo la ampliación del ámbito de aplicación de la base de datos de acceso público del artículo 60 para incluir el despliegue de sistemas de IA de alto riesgo por parte de las autoridades públicas.

Una dosis extra de transparencia también aparece en la ley como la respuesta a los peligros de los modelos fundacionales como ChatGPT o Midjourney, dada su complejidad y la imprevisibilidad de su impacto. 

Pero esto podría no ser suficiente. “La transparencia, como herramienta legal se usa en muchos casos como método de transacción de responsabilidad”, advierte Jaume-Palasí, quien dice que no es lo mismo que rendición de cuentas, y que incluso tenemos innumerables ejemplos en la historia en los que se ha usado la transparencia para amedrentar o generar la aceptación de condiciones inaceptables. 

Empresas de IA generativas, entre ellas OpenAI y Stability AI, se encuentran actualmente en los tribunales por cuestiones de propiedad intelectual de los materiales que se utilizaron para entrenarlas. La propuesta de ley de IA de la UE enfrenta esta cuestión también con la transparencia como solución, y pide publicar resúmenes de los datos protegidos por derechos de autor utilizados para el entrenamiento. 

Jaume-Palasí dice que estas infraestructuras precisan miles de millones de datos y en estos casos “es imposible acumular tantos de un modo legal”. Se refiere a las publicaciones de ex-ingenieros de Google como El Mahdi El Mhamdi que ya han afirmado que es matemáticamente imposible crear grandes modelos de lenguaje seguros que garanticen la privacidad. 

“Este tipo de sistemas no son tan automáticos como aparentan: se requiere una armada de personas corrigiendo y limpiando datos a diario. Este trabajo es bastante monótono, deshumanizante y mal pagado. Y requieren una cantidad ingente de energía, como ya hemos visto en el caso del bitcoin, ha tenido un gran impacto en el mercado energético en las zonas en las que estas infraestructuras se hallan. Los precios suben por las nubes y las personas de a pie son las que no pueden costearse la electricidad. Teniendo en cuenta que aún no hemos encontrado uso concreto para ChatGPT en el que no exista una solución alternativa, este derroche y explotación energética y laboral más bien sugeriría una prohibición de estos sistemas. La transparencia en este contexto normaliza algo que no deberíamos legitimar”, zanja la experta.