El algoritmo de recomendaciones de Twitter es público: qué podemos ver y por qué lo ha hecho

Entre los últimos anuncios de Elon Musk está la publicación de parte del código de Twitter, en una promesa que había hecho antes de comprarlo. Lo que ha abierto es su algoritmo de recomendaciones, que decide la visibilidad de los tuits en el timeline. 

Twitter ha publicado partes de su código que incluyen el algoritmo de recomendaciones de esta red social, el que decide qué tuits mostrará en el timeline de sus usuarios. Lo ha hecho bajo una licencia pública GNU Affero v3.0, y su análisis permite conocer qué variables influyen en que un tuit sea más visible que otros en el timeline de los usuarios. 

Qué se ha publicado

Twitter ha subido dos repositorios a Github. En esta plataforma los usuarios alojan código utilizando un sistema de control de versiones, y por eso se utiliza principalmente para el desarrollo de proyectos de código abierto.

Lo que Twitter ha publicado son algunas partes del código que utiliza Twitter para funcionar. Entre ellas está el algoritmo de recomendación, al que acompañan de una explicación en su blog de cómo funciona. 

• Excluyen el código que impulsa las recomendaciones de anuncios y los datos usados para entrenar el algoritmo de recomendaciones. 
• Según su comunicado, dejan fuera también todo tipo de código que comprometa la seguridad de la plataforma. 
• Tampoco han publicado la lista secreta de 35 usuarios VIP (Very Important Persons) a los que, según documentos a los que accedió Platformer, Twitter otorga más visibilidad que al resto, junto con Elon Musk. En la lista están, entre otros: James LeBron, estrella de la NBA; Ben Shapiro, columnista conservador; catturd2, un anónimo desinformador con una larga historia de apoyo a Trump y de difundir teorías conspiranoicas; Joe Biden, presidente de los EE.UU. y Alexandria Ocasio-Cortez, congresista estadounidense del partido demócrata.

Por qué es importante

La publicación del código que hace funcionar un algoritmo está dentro de la transparencia que siempre se pide a las grandes plataformas que gestionan el discurso público, por la capacidad que tienen de influir en los flujos de información y de actuar como centro de debates sobre temas políticos y de interés general. 

Ninguna de las grandes plataformas de redes sociales hasta el momento había hecho público su algoritmo de recomendaciones. 

Con la publicación del código del algoritmo de recomendación de Twitter, podemos examinarlo y ver a qué otorga relevancia el algoritmo para mostrar ciertos tuits y no otros. 

Por qué lo hace Twitter

“Abrir el código” ha sido una de las promesas más repetidas por Elon Musk desde que comenzó a expresar su deseo de adquirir la red social. La publicación del algoritmo se ha comunicado como un primer paso en esta “nueva era de la transparencia” de Twitter2.0, en la que muchos usuarios ya ha migrado a redes sociales alternativas. 

En uno de los principios básicos del software libre, todo código abierto, es decir, que esté publicado, es más seguro, porque está expuesto a más ojos que pueden detectar vulnerabilidades y errores, que pueden ser arreglados más rápidamente. Aunque Twitter no ha publicado la totalidad del código, sí lo ha hecho con el algoritmo de recomendaciones, y ofrece una serie de recompensas en metálico (que van desde los 140 a los 20.160 dólares) para quien haga sugerencias de mejora, y detecte fallos o vulnerabilidades, que le permitirán acelerar el ritmo de mejora de este mecanismo a Twitter.  

Por qué Twitter abre el algoritmo en este momento

El aumento de fallos en la plataforma en la era Musk y los sucesivos despidos masivos de trabajadores de la compañía han arrojado dudas sobre la falta de conocimiento y personal que pueda solucionar futuros fallos en la plataforma. 

En este contexto, la publicación voluntaria de su algoritmo por parte de Twitter se ha hecho días después de que descubriesen que alguien había filtrado partes de su código en Github. Twitter pidió su retirada e inició acciones legales para identificar a las personas que lo habían filtrado y quienes se lo hubieran descargado posteriormente. 

Quizás más significativo es que Twitter ha publicado su algoritmo apenas unas horas antes de que caduque la validez de los usuarios verificados “tradicionales” (legacy verified), aquellos que recibieron una marca de verificación para indicar autenticidad o relevancia antes de la compra del servicio por Musk. La compañía de Musk ha dicho que a partir del 1 de abril Twitter sólo dará “clasificación prioritaria en las conversaciones” a quienes paguen la suscripción a Twitter Blue, por 8 dólares al mes. 

Cómo funciona el algoritmo

Cada vez que un usuario en Twitter carga su portada, Twitter escoge los mejores 1500 tuits de un conjunto de cientos de millones, explican en el post que acompañó la publicación del código. Las fuentes de esos tuits provienen tanto de un grupo de usuarios llamado Recursos dentro de la red (In-Network sources), que se refiere a los seguidos, como de otro consistente en usuarios no seguidos por el usuario (Out-of-Network sources). 

El porcentaje puede ser 50/50 aunque aclaran que puede variar con respecto a cada usuario. Los tuits con prioridad son aquellos que han recibido interacciones de parte de la red de contactos del usuario y aquellos que han recibido likes por parte de aquellos que dan likes similares al usuario en cuestión. 

Después de esta selección, Twitter aplica una serie de filtros “para crear un flujo diverso”. Entre ellos: un filtro de visibilidad (que quita los tuits de cuentas bloqueadas o muteadas), filtro de autor (para que no veas demasiados tuits seguidos del mismo usuario), un filtro social que excluye los tuits fuera de la red que no tengan una conexión de segundo grado con el tuit, o un filtro de conversaciones, que da más contexto a una respuesta enlazándola al tuit original. 

Qué se ve en el código 

Al primer vistazo, TechCrunch, una publicación especializada en tecnología ha definido al algoritmo de recomendaciones de Twitter como complejo, pero no necesariamente sorprendente desde un punto de vista técnico. 

Está compuesto por muchos modelos: uno de ellos detecta contenido abusivo o ‘no apto para ser visto en el trabajo’ (NSFW); otro, la probabilidad de que un usuario de Twitter interactúe con otro calculando la “reputación” de un usuario. En la documentación publicada no se explica a qué se refieren con este concepto. Las decisiones para establecer un ranking de tuits y recomendar cuentas a seguir está a cargo de varias redes neurales, que tienen un filtro para esconder ciertos contenidos. De estos sólo sabemos que son los que Twitter considera que “apoyan el cumplimiento legal, mejoran la calidad de los productos, aumentan la confianza de los usuarios, protegen los ingresos”, sin más aclaración. 

Algo curioso: Elon Musk como métrica

Ólafur Waage, un desarrollador de software senior del servicio noruego de consultoría de software TurtleSec, observó que dentro de «HomeTweetTypePredicates.scala», algunas de las consideraciones aparentes para que un tuit sea candidato a la portada son:

    author_is_elon
    author_is_power_user
    author_is_democrat
    author_is_republican

Es decir que hay una categorización de autores en los que se califica si son republicanos, demócratas, usuarios relevantes (power users) o si son Elon Musk. En uno de los comentarios que dejan en el código los desarrolladores, alguien supuestamente de Twitter dice que esas clasificaciones son usadas “meramente para recoger métricas”.

These author ID lists are used purely for metrics collection. We track how often we are serving Tweets from these authors and how often their tweets are being impressed by users. This helps us validate in our A/B experimentation platform that we do not ship changes that negatively impacts one group over others.

Musk ha dicho que no conocía esas clasificaciones.