Cómo se hace un ‘deepfake’ del falso alcalde de Kiev para engañar a cinco regidores europeos

Un falso alcalde de Kiev que durante junio ha estado manteniendo conversaciones vía internet con cinco alcaldes europeos, haciéndose pasar por el verdadero, Vitali Klitschko, sembró dudas sobre si estamos ante una tecnología de deepfakes en tiempo real. Aunque un dúo de cómicos rusos se ha atribuido los engaños, no han dado pruebas de ello y no hay certeza sobre si utilizaron inteligencia artificial para la suplantación. 

Entre los alcaldes que cayeron en el engaño está el de Madrid, José Luis Martínez-Almeida, que al igual que los regidores de Varsovia, Viena, Berlín y Budapest habló con el impostor sobre la guerra en Ucrania y otras cuestiones con quien creía era Klitschko.

Cuando hace unos meses un deepfake de Volodímir Zelenski circuló en redes con la rendición del presidente ucraniano, el sucedáneo no engañó a casi nadie. Tuvo poco recorrido, en parte por la poca calidad de su factura, pero también porque las autoridades ucranianas ya venían advirtiendo que este tipo de productos desinformativos serían más frecuentes y no tan fácilmente detectables con el tiempo.   

El alcalde de Viena, Michael Ludwig, estaba tan convencido de haber hablado con el original kievita que al terminar tuiteó y emitió una nota de prensa al respecto, dando cuenta de lo que se había hablado, con imágenes de la videoconferencia donde se ve al falso alcalde de Kiev. Un periodista de Bild logró hacer capturas de esos tuits.

Tres días después, cuando se conocieron otros casos, borró ese tuit y puso otro el que decía que “no hubo evidencia de que la conversación no se llevara a cabo con una persona real”, y calificaba lo sucedido como un deepfake y un “caso grave de delito cibernético”. También la alcaldía de Berlín y la de Budapest dijeron haber estado ante un deepfake.

El falso Klitschko: ¿solo una broma para la cámara? 

En Madrid no hay protocolo o indicaciones relativas a la ciberseguridad a seguir en este tipo de comunicaciones, dicen desde la oficina de prensa del alcalde Almeida. La Alcaldía de Madrid ha denunciado el caso a la Policía, lo que se une a las otras investigaciones abiertas en el continente europeo.

En medio de la inquietud por el hecho de que los controles de cinco administraciones de gobierno de capitales de Europa hubiesen fallado en medio de una guerra, o la duda de si los deepfakes podían ser ya indetectables a este nivel, dos cómicos rusos, Vovan y Lexus, se han adjudicado la autoría de estas llamadas en el programa Kontraste de la televisión pública alemana ARD. 

Los interrogantes permanecen, porque las afirmaciones de los humoristas no han podido ser contrastadas, y ellos tampoco han aportado pruebas ni han querido dar detalles. 

Prometieron que subirían a su canal de RuTube los vídeos de estas llamadas, pero hasta la fecha solo lo han hecho con una, la del alcalde de Varsovia, que es una llamada telefónica de alguien que se hace pasar por él, pero no encendió la cámara, por lo que no hay vídeo del falso alcalde de Kiev.  “No puedo decir cómo lo hicimos, pero fue fácil”, ha dicho Alexéi Stolyarov (Lexus), que también ha negado que haya sido mediante tecnología deepfake. 

Alejandro Pérez Blanco es el experto en deepfakes de El Intermedio, un show de TV español que los utiliza con fines de entretenimiento, y analizando la información que tenemos, señala que quizás estemos ante una navaja de Ockham. Es decir, que la respuesta a este misterio sea la opción más simple. 

El falso alcalde de Kiev “se veía y sonaba como Klitschko”

Los primeros en contar el caso y decir que “parecían estar tratando con un deepfake” fueron los alemanes, el 24 de junio, a través de la oficina de la alcaldesa de Berlín, Franziska Giffey, que ha publicado una captura de la llamada. La regidora había estado hablando a través de una videoconferencia en la plataforma Webex con una persona que se veía y sonaba como Klitschko, según la alcaldesa. “No había señales de que la videollamada no estaba siendo mantenida con una persona real”, dijo su oficina. 

En esta llamada, el falso Klitschko pidió hablar en ruso con un traductor alemán, algo curioso, ya que el alcalde de Kiev vivió en Hamburgo durante años cuando era boxeador, y habla fluidamente el alemán. El pedido no levantó las alarmas. 

Los primeros 15 minutos de conversación transcurrieron con normalidad, y el impostor le preguntó cuántos refugiados ucranianos había y cómo lo estaban llevando, según la alcaldesa alemana. Giffey empezó a sospechar cuando él hizo una referencia a que los refugiados ucranianos abusaban de las ayudas del Estado, y pidió enviar a los refugiados varones de vuelta a luchar en Ucrania. En ese punto el equipo de la alcaldesa decidió cortar la comunicación. Posteriormente, el verdadero alcalde dijo en Twitter que él no necesita traductor.

Remix, un medio polaco, dijo que todos los alcaldes habían mantenido videollamadas similares con un falso alcalde de Kiev, pero no está claro que todos hayan utilizado vídeo, y mucho menos que hayan sido deepfakes, tecnología que combina la edición en vídeo con inteligencia artificial, lo que puede hacerla indistinguible al ojo humano. 

Desde la oficina de prensa del alcalde madrileño confirmaron la conversación con el falso alcalde de Kiev, pero dicen a Newtral.es que lo que apareció en la llamada fue una imagen fija de Klitschko, y no un vídeo. También para ellos la señal que levantó las alarmas fue el contenido de la conversación: “Empezó a hacer preguntas que nada tenían que ver con la situación en Ucrania”, señalan. En Madrid no se hicieron capturas de pantalla ni grabaron la conferencia. 

Los patrones en las llamadas del falso alcalde de Kiev

La acción parecía partir del mismo autor porque varios patrones se repitieron en estas llamadas: todos coinciden en que hablaron con alguien que se veía y hablaba exactamente como el alcalde de Kiev. Gergely Karácsony (Budapest) y Giffey (Berlín) usaron esta frase textual. Tanto ellos como Rafał Trzaskowski (Varsovia) lo calificaron como un deepfake. 

Ninguno sospechó hasta bastantes minutos después de entrada la conversación. No se verificó previamente la cita con otro canal seguro del ayuntamiento kievita o su equipo, o que las direcciones de email fuesen las oficiales. Sí lo hicieron al finalizar, casi todos comprobaron con contactos oficiales que acababan de hablar con alguien que no era el verdadero alcalde. Solo el de Viena, Michael Ludwig, se dio cuenta varios días después, al conocer otros casos. 

Exceptuando a Ludwig, todos dicen que en la conversación el falso alcalde de Kiev mencionó cuestiones o preguntas extrañas que levantaron sospechas, como la posibilidad de que los refugiados ucranianos en esas ciudades estuvieran aprovechándose de las ayudas. 

La dirección de email utilizada para la invitación parecía fiable, según la oficina del Ayuntamiento de Berlín. Pero no lo era. Según confirmaron a Spiegel, la invitación procedía de la misma dirección que utilizaron con el alcalde de Viena.

Y según Bild, que ha publicado una captura del email que enviaron a Almeida, esta era la misma que la utilizada para el alcalde de Madrid y Budapest. Se trataba del email  «[email protected]«, pero nadie lo verificó, porque las direcciones de email oficiales del gobierno ucraniano terminan en “.gov.ua”. Desde Newtral no hemos podido comprobar que la captura es verdadera y estamos pendientes de la respuesta de la oficina de Almeida sobre esto.

Deepfakes en tiempo real: cómo se hacen

Cuando llamo al realizador especialista en deepfakes para que me explique cómo se pudo haber hecho este deepfake, me atiende Felipe González. La sorpresa dura un segundo y veo que Blanco utiliza una tecnología que genera una máscara del expresidente sobre su propia cara en la pantalla. Lo ha hecho para que vea en directo cómo funciona una tecnología de este tipo. 

Pérez Blanco indica que puede que en algún caso con los alcaldes se hayan usado deepfakes para la figura del falso alcalde de Kiev, pero deberían haber tenido la máscara preparada de antemano, como tiene él la de Felipe González para sus sketches de El Intermedio. Si se ha hecho así, estaríamos ante especialistas que han entrenado máquinas con inteligencia artificial previamente y que utilizan procesadores muy potentes para que el deepfake pueda haber sido hecho en tiempo real. 

Técnicamente hay dos formas de lograrlo: una, manipulando las imágenes del alcalde, que según Daniel Laufer, periodista de ARD, corresponden a una entrevista que dio Klitschko en abril, es decir utilizando las fotos para que se muevan como lo hace el doble. 

Y la otra es hacer directamente el deepfake propiamente dicho: reconstruir el fondo, poner la misma bandera, usar un doble con características corporales similares a las de Klitschko y reemplazar la cara. En cuanto a calidad, Pérez Blanco cree que es más probable que salga bien de la primera manera, con las fotos. Coincide con Laufer en que quien engañó a los alcaldes lo hizo así. Laufer cree que se podrían haber precortado fragmentos de vídeo del original y que los podrían haber vuelto a ensamblar en tiempo real. “Me parece concebible que los pequeños tartamudeos y las velocidades de cuadro desiguales, a las que uno está acostumbrado en las videollamadas, tengan transiciones enmascaradas”, escribió Laufer en Twitter. 

Para Pérez Blanco hay otra pista. “El indicio más claro que tengo es que la imagen es cuadrada”, señala, a partir de las fotos que difundió la alcaldía de Berlín y la de Viena. “Por lo general, las máquinas suelen pensar en imágenes cuadradas, salvo excepciones muy particulares”, explica el especialista. Resulta mucho más fácil programar de esta manera, con un número cuadrado potencia de dos. Puede ser 64×64, 128×128, y mientras más resolución tengan las imágenes, más difícil es hacerlas. Pérez Blanco por ejemplo, utiliza 256×256 para sus deepfakes del programa de TV. 

Ingeniería social vs. deepfakes

En el caso de los alcaldes, sin embargo a Pérez Blanco le quedan dudas, por la complejidad que tiene hacer un deepfake en tiempo real. Es más fácil pensar en que se pueda haber usado ingeniería social, que sigue funcionando para este tipo de engaños, y que mencionaron los humoristas.

“Es más fácil confiar en que el alcalde de Viena, de Berlín y sobre todo uno más mediterráneo como el de Madrid no tienen idea de cómo es la voz de este hombre. Han oído al falso alcalde de Kiev de fondo con una traducción simultánea”, especula el especialista. 

Los deepfakes de audio para imitar voces de personas también existen, pero tienen su propia  complejidad. La máquina adapta el timbre pero no puede hablar con dejes, acentos o expresiones típicas de la persona.

Un doble usando una tecnología de deepfake de audio con la voz de Felipe González no tendría su ritmo ni sus tiempos, no pronunciaría las consonantes como las pronuncia él. “Por consiguiente, la diferencia es importante”, bromea Pérez Blanco metiendo una cadencia y una expresión que utilizaba mucho el expresidente español. 

El único vídeo que han subido Vovan y Lexus, los cómicos rusos, a su canal de RuTube (el equivalente ruso a YouTube) es el de Rafał Trzaskowski, el alcalde de Varsovia. Aunque Trzaskowski activó la cámara, ellos no lo hicieron, con lo que no podemos hablar de un deepfake con inteligencia artificial en este caso, sino simplemente de un engaño telefónico. La solución más simple al misterio, y la navaja de Ockham del caso, es que se utilizó un imitador del falso alcalde de Kiev, además de mucha psicología. 

En el mundo de la magia se cuenta algo sobre los trucos, recuerda Pérez Blanco, que se lo oyó a Brian Brushwood, un mago. ¿Cómo lo ha hecho?, se suele preguntar a un ilusionista. Dicen que si el mago entonces pregunta a su vez al espectador cómo lo haría él, este suele decir: “Yo lo haría así, pero tú seguramente lo haces mucho mejor”. Y generalmente en su respuesta, sin darse cuenta, estará lo que ha hecho el mago.

Cómo detectar un deepfake en una videollamada o en tiempo real

En la postpandemia las videoconferencias son cosa de todos los días. Aunque no seamos alcaldes de capitales europeas, queremos saber qué señales pueden indicarnos que estamos ante un deepfake. Pérez Blanco apunta a dos cosas que podemos pedir a nuestro interlocutor que haga para saber si estamos hablando con alguien real. 

En primer lugar, pídele que se tape media cara con una mano. Es muy difícil que una máquina esté preparada para que eso se vea bien. Si es un deepfake, aparecerán sombras o la imagen se deformará, y esto es una señal de que alguien está manipulando el vídeo.

Otra forma de probarlo es intentar que la persona se ponga en un ángulo diferente. Por ejemplo, pidiéndole que se gire y nos dé la espalda, o que se sitúe en una esquina de la pantalla. Cuando hacemos una prueba, veo que la imagen se congela. “Según cómo lo hayan configurado, la máquina deja de actualizarse, o deja de meter una cara y sale la original”, explica el experto. 

Antes de todo esto, por supuesto, lo más sencillo es empezar por comprobar que en la invitación que nos envían no hay URL extrañas, o verificar por medio de una llamada o de otro canal que nos lo ha enviado la persona que dice ser. Una comprobación que ya sabemos que en el caso de algunos alcaldes, como el de Madrid, no se hizo con el falso alcalde de Kiev.