La Comisión Europea propone obligar a las plataformas al escaneo masivo de mensajes privados en busca de abuso infantil

La Comisión Europea ha presentado una propuesta contra el abuso infantil en redes, que pretende implicar a los proveedores de servicios digitales y de acceso a internet en la lucha contra estos delitos. Con el comienzo de la pandemia, la demanda de material de abuso sexual de menores, (CSAM por sus siglas en inglés) aumentó hasta un 25% en algunos Estados miembro. Con estos datos por delante, la Comisión ha lanzado un texto con nuevas normas entre las que está el escaneo de mensajes para obligar a los proveedores de servicios a detectar, denunciar y retirar los materiales de abuso sexual de menores. 

La propuesta de la Comisión, que fue aprobada por el Ejecutivo comunitario el 11 de mayo, ha levantado suspicacias entre decenas de asociaciones de la sociedad civil, que consideran que arrasa con el derecho a la intimidad y a la confidencialidad de las comunicaciones de todos los usuarios. La propuesta fuerza a las compañías a hacer un escaneo masivo de las comunicaciones interpersonales, poniendo por delante una causa contra la que nadie puede estar en desacuerdo. 

Qué ha propuesto la UE contra el abuso infantil

El borrador establece obligaciones para los proveedores de servicios en internet como servicios de alojamiento, de comunicaciones interpersonales (como la mensajería), tiendas de aplicaciones y servicios de acceso a internet. Les exige que evalúen y mitiguen los riesgos; y, cuando sea necesario, cumplan órdenes de retirada de material. 

Las obligaciones de detección cubren material pedófilo conocido (fotos y vídeos que ya han sido identificados como material de abuso infantil), y material desconocido hasta ese momento. También se les pide que puedan detectar la captación o embaucamiento en las conversaciones con menores (grooming). 

¿Cómo será esa detección? La reglamentación deja al arbitrio de cada prestador de servicios implementar las tecnologías que consideren adecuadas para cumplir con sus obligaciones de detección de contenidos. Samuel Parra, jurista experto en el área tecnológica del Derecho, entiende que muchas de ellas optarán por una verificación del contenido a enviar antes de que sea cifrado. 

Un ejemplo: WhatsApp podría detectar si un mensaje que contiene una foto está relacionada con abusos sexuales a menores sin necesidad de romper el cifrado, le bastaría con verificar el contenido antes de ser enviado. La ley, según Parra, envía un aviso claro a los usuarios respecto al cifrado: aunque cifres, voy a necesitar ver lo que estás cifrando, por lo que no deberíamos sentirnos seguros sobre la confidencialidad del mensaje. 

La propuesta de la Comisión habla de “salvaguardas sólidas” para la detección, para garantizar los derechos fundamentales de las personas y la proporcionalidad en las medidas. Parra observa que estas salvaguardas quedan primero a criterio de cada empresa, que tiene una obligación de actuar de forma proactiva. “La propia norma ya advierte que las obligaciones de esta regulación son de “resultado” y no de “medios”, y posteriormente son las autoridades de control quienes pueden establecer criterios específicos.

El texto incluye la creación de una agencia europea y la designación de autoridades nacionales que pueden emitir órdenes de retirada.

Una propuesta contra los derechos fundamentales

La Comisión ha considerado que en relación a la lucha contra el abuso sexual infantil deben ceder derechos fundamentales como el de la intimidad, protección de datos y el secreto de las comunicaciones, por el interés público. 

Los fines están fuera de toda discusión, según todos los analistas consultados por Newtral.es. Son los métodos los que son vistos con mucha preocupación por expertos en privacidad y decenas de organizaciones de defensa de derechos humanos. 

Tanto la Electronic Frontier Foundation (EFF) como European Digital Rights (EDRi), la mayor red europea de asociaciones, expertos y académicos a favor de los derechos civiles, llevan meses pidiendo que esta propuesta esté en línea con los derechos fundamentales y libertades de la UE. Estos implican que las personas de todo el mundo confían en la privacidad de sus comunicaciones para su vida, desde hablar con amigos y familia, hasta hacerlo con médicos y abogados, o contar información a periodistas, y organizarse para proponer cambios sociales. 

Desde EDRi añaden que “aún más, el debilitamiento de protecciones tecnológicas puede hacer que los niños que se encuentran en situación de vulnerabilidad eviten tener comunicaciones confidenciales que les impidan escapar de situaciones abusivas”. UNICEF y Naciones Unidas han emitido informes que señalan la importancia de la privacidad y la protección de datos para personas jóvenes. Más de 47 asociaciones han pedido reunirse para colaborar con la propuesta pero no han recibido propuestas para ello por el momento, según EFF, aunque siguen manifestándose dispuestos a hacerlo. La Comisión Europea no ha contestado a Newtral.es si tiene en sus planes convocarles a alguna reunión en el futuro.

La Agencia de Protección de Datos alemana ya ha dicho que la propuesta es incompatible con la Carta de Derechos Fundamentales. “El principio de confidencialidad de las comunicaciones está amenazado”, ha dicho Ulrich Kelber, comisario de protección de datos, en un hilo de Twitter en el que ha desgranado varios problemas que ve a la propuesta. Entre ellos, el debilitamiento del cifrado y las sospechas masivas a ciudadanos inocentes por el uso de tecnologías que tienden a tener muchos falsos positivos. 

“Lo más grave es que la UE abre las puertas al escaneado masivo de chats, emails, mensajes en aplicaciones de citas como Tinder… y todo bajo la apariencia de ‘proteger a los niños’, con unas ‘garantías’ que son mera cosmética”, dice Diego Naranjo, abogado y defensor de políticas de EDRi. 

Tutanota es una empresa alemana que desarrolla software para correo electrónico libre y cifrado. Matthias Pfau, experto en criptografía, es su director y dice: “Aunque sea una inteligencia artificial la que escanee tus mensajes privados, esta propuesta significa vigilancia masiva sin garantías judiciales de todos los ciudadanos europeos. Una vez más, la Comisión Europea está usando la protección a los niños como un pretexto para introducir vigilancia masiva sin ninguna razón. Este podría ser el mayor mecanismo de vigilancia colectiva establecido fuera de China”. 

Esta empresa alemana publica periódicamente informes de transparencia en los que detallan la cantidad de órdenes judiciales recibidas. Se podría pensar que un servicio que promueve la privacidad como este podría ser preferido por los criminales para el intercambio de material de abuso infantil. Sin embargo, durante 2021, sólo recibieron una orden judicial relacionada con sospechas de pornografía infantil. Esto significa el 1,3% de la cantidad de pedidos judiciales que recibieron ese año. 

Un escaneo masivo de mensajes

Las medidas que proponen que el proceso de detección sea hecho mediante escaneo son reconocidos por la misma Comisión como las más intrusivas para los usuarios, pero considera que la tecnología no “entiende” el contenido de las comunicaciones y sólo estará buscando patrones conocidos y pre-identificados que indiquen “embaucamiento potencial”.

La propuesta habla de “escáneres algorítmicos”. ¿Qué quiere decir esto? Desde la Comisión explican a Newtral.es que se refieren al hashing, a una tecnología que incluye el uso de inteligencia artificial. Este tipo de tecnología, sobre el que hemos escrito, era similar al que había anunciado Apple para todos los archivos en su nube y por el que finalmente tuvo que dar marcha atrás. Apple describió entonces un tipo de tecnología de filtrado llamado escaneo del lado del cliente. 

“La propuesta de la UE no obliga a un tipo específico de escaneado pero sugiere un escenario en el que una o más tecnologías como la de Apple podrían ser requeridas”, explica Joe Mullin, analista de políticas de la EFF. Según la Comisión, los “escáneres algorítmicos” podrían preservar el anonimato de los usuarios. Mullin dice que una descripción de una sola palabra no es suficiente para entender lo que propone la Comisión, y que en las 134 páginas de la propuesta no se especifica qué tipo de escaneo se va a utilizar. 

La gran diferencia entre la idea de Apple es que al final si se aplicaba solo iba a afectar a una compañía y a sus productos. En cambio la propuesta de la Comisión Europea puede llegar a ser ley, y derecho vinculante para todos los europeos, con efectos en usuarios en todo el mundo. 

El hashing y los falsos positivos

Se llama hashing a un tipo de tecnología para escaneado de comunicaciones que se basa en inteligencia artificial y funciones matemáticas automatizadas. Esta tecnología convierte a las imágenes o vídeos que previamente han sido identificados como contenido de abuso infantil en números muy largos y únicos. 

El sistema escanea todas las comunicaciones enviadas por los usuarios, y si en una de ellas se envía una foto cuyo código coincide con el que tenemos en la lista, hay un positivo. Se habla de patrones, porque el algoritmo ha detectado la coincidencia pero ningún humano ha “visto” la imagen en sí. 

El problema de esta tecnología son los falsos positivos. En una información publicada por la Comisión Europea explicando la propuesta se dice que “entre las empresas que actualmente detectan voluntariamente abusos sexuales de menores, la detección automática es muy fidedigna y presenta tasas extremadamente bajas de falsos positivos». Desde Newtral hemos pedido a la Comisión ver estos estudios o conocer esas tasas, sin resultado. 

No existe técnicamente la posibilidad de hacer un escaneo en mensajes cifrados de extremo a extremo

Los estudios que hemos encontrado sí muestran tasas altas de falsos positivos. Según Mullin, estas tecnologías “están plagadas de errores, y pueden ser engañadas y falseadas”. Uno de los estudios es el que ha hecho Facebook sobre su escáner de detección de abusos infantiles, y reveló que más de un 75% de los resultados sospechosos eran falsos positivos, es decir que no eran contenido malicioso o delictivo. 

LinkedIn, que usaba PhotoDNA, un escáner popular para detectar abuso infantil, ha reportado un porcentaje de errores mayor al 50% recientemente (31 positivos confirmados de 75 archivos reportados).

La cuestión de los falsos positivos, además de afectar masivamente los derechos de los ciudadanos, presenta riesgos en cuestión de ciberseguridad. Desde Tutanota explican que se encontrarán formas de hackear el proceso de escaneo en el lado del cliente. “Los atacantes podrían, por ejemplo, inyectar imágenes o documentos marcados como abuso infantil en los dispositivos de las personas a las que quieren desacreditar”. 

Qué pasa con el cifrado en la propuesta de la Comisión

No existe técnicamente la posibilidad de hacer un escaneo en mensajes cifrados de extremo a extremo, ni para detectar contenido de abuso infantil, ni para cualquier otro. Un contenido cifrado sólo puede verse por emisor y receptor, que son quienes tienen las claves para descifrarlo; y ni siquiera la compañía que provee el servicio tiene acceso a esos mensajes. Por esto es que la Comisión y los expertos hablan de la posibilidad de hacer un escaneo del lado del cliente antes de enviar la comunicación cifrada.

“Una tecnología que permite que se escaneen los datos y se envíen a un proveedor antes de que sea cifrada es lo que denominamos una backdoor, una puerta trasera”, dice Hanna Bozakov, portavoz de Tutanota. “Si el escaneo del lado del cliente se vuelve obligatorio, se terminará la privacidad en internet”. 

La llamada “Seguridad a pesar del cifrado” fue un intento de fijar una postura con respecto a esto por parte del Consejo de la UE en 2020, aunque no tenía carácter normativo. 

También entonces hubo reacciones. El Comité para la Protección de Periodistas, Scientists4Crypto, un grupo de científicos; la EFF y otras asociaciones publicaron una carta abierta a las instituciones de la UE ante lo que consideraron el fin del cifrado de punta a punta. 

La ponderación de derechos que ha hecho la Comisión en la propuesta contra el abuso infantil, la de dar más peso a la seguridad que a la intimidad, ya fue argumentada por legisladores europeos en la Directiva 2006/24/CE del Parlamento Europeo y del Consejo, de 15 de marzo de 2006. Trataba sobre la conservación de datos generados o tratados en relación con la prestación de servicios de comunicaciones electrónicas de acceso público o de redes públicas de comunicaciones. 

Esta Directiva terminó siendo anulada por el Tribunal de Justicia de la Unión Europea por ser contraria a los derechos fundamentales de la Unión. “No es descabellado pensar que llegado el caso se podría impugnar este Reglamento y que termine siendo anulado si efectivamente se comprueba que se extralimitó en la ponderación de derechos o que no respetó el principio de proporcionalidad”, opina Parra.