Más de 300 científicos firman contra la propuesta de la UE de intervención de comunicaciones para luchar contra el abuso infantil

“Las tecnologías existentes (para detectar material de abuso infantil en mensajes privados en línea) son profundamente deficientes” e intervenir “a gran escala las comunicaciones privadas en un contexto global crea efectos colaterales extremadamente dañinos”, que pueden incluso afectar a la democracia. Lo dicen más de 300 académicos y científicos que han firmado una carta abierta rechazando la nueva ley de la Unión Europea contra el abuso sexual infantil en línea. La propuesta de la UE obliga a los proveedores a instalar un software de detección en los móviles y dispositivos de los ciudadanos, algo que los firmantes consideran un precedente mundial de vigilancia masiva. “Es similar a poner cámaras en nuestras casas”, advierten. 

El principal problema es que la ley exige una supervisión de todas las comunicaciones privadas que a día de hoy sólo es posible instalando software de vigilancia en los dispositivos; y la tecnología existente tiene graves problemas de seguridad. 

“No esperamos que en 10-20 años haya una solución escalable que pueda ejecutarse localmente en el dispositivo del usuario sin filtración de información ilegal, ni que pueda detectarse contenido conocido (o derivado de contenido conocido) de una manera confiable, es decir con un número aceptable de falsos positivos y negativos”, dicen los firmantes, entre los que hay dos premios Turing, considerado el Nobel de la Informática. 

Las limitaciones tecnológicas son una de las razones que apuntan investigadores de más de 30 países para posicionarse contra esta propuesta de los legisladores europeos. Pero hay otros más, empezando por la falta de efectividad de estas medidas y la pérdida de derechos que supone. 

Los académicos consideran que ante el horror del abuso sexual infantil es entendible, y hasta tentador, buscar una intervención tecnológica para erradicarlo, como intervenir todas las comunicaciones. Pero hacerlo de esta manera mina el trabajo que se ha hecho en torno a la privacidad y la ciberseguridad en Europa, además de sentar un grave precedente global para el filtrado de internet y quitar las pocas herramientas seguras disponibles a la ciudadanía para proteger su derecho a una vida privada en el espacio online. 

“​No hay un privacidad versus seguridad: o los dos o ninguno”, explica Carmela Troncoso, investigadora española experta en privacidad, y una de las impulsoras de la carta. “Eliminar las conversaciones privadas elimina toda la seguridad digital (de los ciudadanos, pero también de las empresas e instituciones). Todos utilizamos la misma infraestructura y aplicaciones. Negar la seguridad a unos es negársela a todos”, dice. 

La propuesta de la UE para intervenir las comunicaciones contra el abuso sexual infantil 

En 2021 el Parlamento Europeo aprobó una excepción a la privacidad que permitió intervenir las comunicaciones electrónicas para dar cobertura legal a la actividad que ya vienen realizando algunas plataformas que colaboran en la detección de estos contenidos. La resolución fue conocida como Chatcontrol, y era provisional hasta que hubiera una normativa permanente. 

La Comisión Europea ha hecho una propuesta de ley para parar la distribución de material relacionado con abuso sexual infantil y el embaucamiento de menores en línea. Para esto, obliga a los proveedores de aplicaciones y servicios online a escanear los mensajes, las imágenes, los emails, los mensajes de audio y otras actividades de sus usuarios. La propuesta va más allá de la detección de contenido conocido, e introduce herramientas de “inteligencia artificial” para detectar cuando haya nuevos contenidos y cuando haya embaucamiento (grooming) en los servicios de comunicación (incluyendo mensajes de texto o audio). 

Escaneo del lado del cliente: intervenir comunicaciones en cada dispositivo

Esto que se pide por escrito en la propuesta de ley de la UE, tiene grandes dificultades técnicas que los firmantes creen que tiene que conocerse a través de esta carta. En el momento de  intervenir comunicaciones, el hecho de que haya aplicaciones con cifrado, como WhatsApp, hace pedir a los legisladores que el escaneo de contenidos se haga directamente en el dispositivo del usuario, antes de cifrar la comunicación, con una tecnología que se llama escaneo del lado del cliente. 

Esta vigilancia masiva de comunicaciones privadas no tiene precedentes en Europa y desde que se conoció el primer borrador ha sido criticada por empresas del sector, expertos, organizaciones de derechos digitales, y organizaciones de la sociedad civil, a los que ahora se suman los científicos con esta carta. 

“Cada vez que se han evaluado los diseños de escaneo del lado del cliente se ha descubierto que no eran eficaces ni cumplían la legislación sobre privacidad y derechos humanos”, dicen los firmantes. Una investigación independiente de prototipos financiados por el Ministerio del Interior británico concluyó que ninguno de los cinco programas  presentados detectaba culpables manteniendo la privacidad de los inocentes. 

Los falsos positivos y negativos del hashing: riesgos de privacidad y abuso del sistema

A esto se suma el problema de los falsos positivos. La única tecnología escalable para lo que pide la UE se llama hashing, y escanea cantidades masivas de mensajes con IA para “detectar” contenido pornográfico. Para ello asigna un número larguísimo (llamado hash) a cada imagen conocida de pedofilia. Al escanear los dispositivos e intervenir las comunicaciones, si hay algún material que hace coincidir los hashes, se envía un aviso a las autoridades. Pero este sistema es muy fácil de hackear: los firmantes de la carta advierten que se pueden hacer cambios pequeños en las imágenes que ocasione cambios en el hash, y por lo tanto pueda dar un falso negativo, con lo que los pedófilos evadirán el control. 

Aún más, el sistema puede ser abusado en otro sentido: creando una imagen “legal” que pueda hacer saltar la alarma por tener el mismo hash que en la base de datos. Un ataque así podría ser creado para atacar a inocentes e inundar las agencias de seguridad con falsos positivos, lo que distraerá recursos de las investigaciones reales contra el abuso infantil. 

Las herramientas de IA pueden entrenarse para identificar determinados patrones con gran precisión. Sin embargo, aún cometen errores: un ejemplo de ello son las “alucinaciones” que vemos en chatbots basados en modelos de lenguaje como ChatGPT. 

La carta de los investigadores explica que los sistemas de IA carecen de contexto y sentido común y son buenos para ciertas tareas, pero no para “la búsqueda de un delito muy sutil y delicado -como el comportamiento de grooming”. Si trasladamos los errores a la escala a la que se intercambian comunicaciones privadas hoy en día en línea, intervenir miles de millones de imágenes, vídeos, textos y mensajes de audio supondría que el número de falsos positivos será de cientos de millones, según los académicos. “Además, parece probable que muchos de estos falsos positivos sean imágenes profundamente privadas, probablemente íntimas y totalmente legales enviadas entre adultos con consentimiento mutuo”, añaden.

Intervenir comunicaciones con tecnologías deficientes

Recientemente, Apple, uno de los fabricantes que había desarrollado un software similar de escaneo de sus dispositivos, tuvo que dar marcha atrás por considerarlo inviable. Conocedores del estado de los avances tecnológicos necesarios para este tipo de medidas, los científicos plantean en la carta sus razones para oponerse a intervenir comunicaciones. “Aunque algunos fabricantes dicen que han hecho progresos (en este tipo de detección), los diseños permanecen en secreto. No hay evaluaciones objetivas que hayan demostrado su efectividad hasta el momento”, aseguran. 

El Parlamento Europeo habla de un 88% de fiabilidad de una herramienta de Microsoft para detectar grooming al intervenir comunicaciones. Carmen Troncoso afirma que hasta donde ella conoce, este software no ha sido públicamente evaluado, pero aún así es problemático, dada la escala global de nuestras comunicaciones privadas online. “Imagina que fuese real, y que tuviese un 88% de fiabilidad, eso quiere decir que el 12% de los casos te vas a confundir. Cuando tienes miles de millones de mensajes eso siguen siendo miles de millones de mensajes a comprobar. No es sostenible”, señala. 

El proceso parlamentario en la UE

La propuesta de la nueva ley, que se asignó a la Comisión de Libertades Civiles, Justicia y Asuntos de Interior (LIBE), con Javier Zarzalejos (PPE, España) como ponente, ya está en borradores. Sus 1900 enmiendas se votarán próximamente en la Comisión. Después de eso, la propuesta votada se presentará en el Pleno del Parlamento Europeo para ser aprobada definitivamente, antes de pasar a los trílogos, o las negociaciones entre instituciones de la UE. 

Wired ha publicado recientemente una encuesta del Consejo Europeo sobre las opiniones de los países miembros acerca de la regulación del cifrado. El documento de la UE, que se ha filtrado, muestra la posición de los representantes  españoles como la más extrema contra el cifrado de las comunicaciones.