El rol del código abierto en la carrera por el dominio de la IA

La popularidad de ChatGPT no lo hace más democrático. Los sistemas más avanzados de inteligencia artificial (IA) tienen detrás décadas de investigación académica, y hoy están en manos de compañías privadas que, aunque los ponen a disponibilidad del público a través de interfaces web y API, mantienen un fuerte control sobre ellos. El debate sobre el rol del código abierto en la IA ha vuelto a avivarse en los últimos meses, y muchos, como Simon Willison, programador británico, piensan que estamos ante una tecnología demasiado importante para dejarla en manos de un pequeño grupo de empresas. 

Cuando el Parlamento Europeo aprobó la propuesta de Ley de IA europea, hubo pedidos de que esas reglas no se aplicaran a la “IA open source” porque eso iría en contra de los desarrolladores independientes. Pero quienes se quejaron de esto fueron las grandes tecnológicas (Google, Microsoft) y otras organizaciones como LAION financiadas por Stability AI, que han utilizado grandes bases de datos abiertas para sus desarrollos.

Las tecnológicas punteras que están empujando la industria de la IA se han pasado este año advirtiendo de que la evolución de sus modelos está sobrepasando sus expectativas, y buscan limitar su acceso. Con una excepción: Meta. 

La tecnológica liderada por Mark Zuckerberg, que lleva una década invirtiendo en IA, ha liberado el código de LLaMA, su gran modelo de lenguaje con nombre de animal sudamericano (siglas de Large LAnguage Model Meta AI), similar a los que están detrás de ChatGPT y Google Bard. 

La cuestión de la democratización es otra cosa. Un estudio sobre los sistemas open source en el ámbito de la IA, cofirmado por Meredith Whittaker, presidenta de Signal y consejera en el IA Institute, concluyó que el término open source es más marketing que un descriptor técnico, y que los desarrollos más abiertos que existen por sí mismos no contribuyen a asegurar un acceso realmente democrático o a una competencia significativa, que ayude a impulsar el desarrollo de la IA hacia adelante.

¿Puede haber código abierto en IA?

Pero, por otro lado, el concepto de código abierto en el entorno de la IA no funciona exactamente igual que en el software libre tradicional, en el que todo el código informático es puesto a disposición de cualquier usuario para que pueda hacer pruebas, comprobar errores y generar nuevo código a partir de él. 

“El open source hace tiempo que mueve el mundo, principalmente a nivel de infraestructura”, observa Fernando Tricas, profesor de informática en la Universidad de Zaragoza. “Pero muchos de sus beneficios no son realmente accesibles: nadie tiene en su casa una forma de utilizar algunos de los avances que se consiguen, porque se aplican a sistemas e infraestructuras de tamaño y complejidad muy grande”, explica. En la IA pasa algo parecido: nos pueden dar el código fuente de cualquiera de las IA del momento, pero aun así no tendríamos fácil ni siquiera empezar a mirar cómo funcionan.

Incluso si pudiéramos obtener el modelo GPT-3, no podríamos ejecutarlo en equipos básicos, ya que estos modelos suelen requerir varios procesadores de clase A100, que cuestan más de 8.000 dólares cada uno. Facebook ha abierto el código de su mayor modelo de lenguaje, OPT-175B, pero ni tú ni nadie podrá entrenarlo en ningún dispositivo al que tenga acceso, como hace ver también Mike Loukides, de O’Reilly Media. “Es demasiado grande incluso para universidades o centros de investigación. Sólo puedes confiar en lo que Facebook dice que hace”.

“El principal problema con el open source en IA es el tamaño y la complejidad”, dice Tricas. Los grandes modelos de lenguaje requieren presupuestos enormes y experiencia en aprendizaje automático profundo. OpenAI utilizó 10.000 procesadores Nvidia para entrenar ChatGPT, por ejemplo. “El problema es que el entrenamiento de cualquier modelo, y la recopilación de datos necesarios para el entrenamiento, por definición, es caro —si no, no sería large— y sólo organizaciones con una gran capacidad computacional (si no técnica) pueden hacerlo”, explica Juan J. Merelo, catedrático de arquitectura y tecnología de computadores en la Universidad de Granada. 

No sólo es un tema de recursos, sino también de infraestructuras. OPT-175B probablemente tampoco podría ser ejecutado por Google y OpenAI, aunque tengan poder computacional suficiente. Este modelo está demasiado ligado a las infraestructuras de Facebook, incluyendo al hardware, como para ser reproducido en otros equipos. 

Un caso de código abierto en IA: Meta libera LLaMA

Por eso, al abrir LLaMA a principios de año, Meta sacudió el tablero de la IA, y según varios expertos, ese movimiento estratégico puede definir el futuro de esta tecnología. 

En el ámbito de la IA, Meta es considerada una tecnológica especialmente abierta gracias a FAIR, el equipo de investigación fundado en 2013 por Yann LeCun, su científico jefe de IA. Meta había dado acceso a LLaMA en un primer momento a investigadores y académicos caso por caso, pero una semana después se filtraron en 4chan los pesos, es decir, los parámetros fundamentales que aprende el modelo, con lo que desarrolladores de todo el mundo pudieron por primera vez acceder a un gran modelo de lenguaje de nivel GPT. 

A partir de ese momento, se produjo un aluvión de innovaciones, con apenas días entre ellas, y un mes después ya había multitud de variantes. Lo más notorio era que usuarios corrientes habían resuelto el problema del escalado, y la barrera de entrada para la formación y la experimentación con IA se redujo a una persona, una tarde y un portátil robusto. LLaMA fue inmediatamente aclamado por su rendimiento superior al de modelos como GPT-3, a pesar de tener 10 veces menos parámetros.

Francois Chollet, investigador en IA trabajando en Google, ha dicho en X: “El código abierto no sólo es importante para la IA moderna. Es existencial. Los avances que hemos visto en los últimos diez años en aplicaciones e investigación no habrían sido posibles sin un fuerte movimiento de código abierto”.

Adueñarse del ecosistema tiene mucho valor para una tecnológica. Este ha sido el caso de Google con sus productos de código abierto, como Chrome y Android. Al poseer la plataforma en la que se producen las innovaciones, Google se consolida y gana la capacidad de dar forma a ideas que son más grandes que ella misma. De la misma manera, Meta se beneficia de todo el trabajo gratuito que se hace sobre su arquitectura de IA. 

Cómo sería una IA desarrollada sólo por intereses privados

La era de los modelos cerrados y propietarios comenzó con ChatGPT: en 2020 puso GPT-3 bajo una distribución comercial, a diferencia de GPT2, que estaba a disposición pública. Cuando en marzo de este año OpenAI anunció GPT-4, el informe técnico que acompañaba el anuncio fue muy criticado: en sus 98 páginas no había ningún detalle de la arquitectura (incluido el tamaño del modelo), el hardware, el ordenador de entrenamiento, la construcción del conjunto de datos, o el método de entrenamiento del modelo. 

“La mayor parte de los avances logrados en los últimos cinco años en IA proceden de la ciencia abierta y el código abierto”, declaró Clement Delangue, director General de Hugging Face, citado por Heise. 

Merelo observa que si no hubieran existido las bibliotecas open source para IA no existirían los modelos de IA, y que “prácticamente no hay un solo paso en la cadena que no necesite herramientas libres”. Si hablamos de avance en la propia concepción de la IA, la ciencia requiere reproducibilidad y sólo puede haberla si las fuentes y datos son abiertos. “Quizás añadir recursos computacionales abiertos debería ser de rigueur, porque está claro que sólo poniendo todas las herramientas a disposición de una comunidad tecnológica voluntaria y voluntariosa, puede avanzar el conjunto de la población, los gobiernos y las empresas”, concluye el catedrático. 

En mayo se conoció un documento interno escrito por un ingeniero de Google en el que advertía a sus compañeros de que el auge de software de código abierto como LLaMA podría hacer perder liderazgo en IA a Google y a OpenAI. Entre las implicaciones señalaba que no tienen una “salsa secreta” y que “su mejor esperanza es aprender lo que hacen otros fuera de Google y colaborar con ellos”. 

¿Podrá avanzar la IA sin código abierto? “La cosa se puede llegar a poner complicada si toda la IA que exista es puramente comercial: no sólo por los temas que preocuparán, sino también por los posibles monopolios y exclusiones de uso que aparecerán. Podemos ver un montón de gente dando recomendaciones sobre ‘cómo usar ChatGPT para’, pero poca gente pensando en que si tu negocio depende de esta herramienta y la empresa decide cerrarte el acceso por el motivo que sea, tienes un gran problema”, dice Tricas. Una dependencia de pocos proveedores que ya hemos visto, por ejemplo, con otros sistemas como el buscador, o los sistemas de correo electrónico en menor medida.