Las “alucinaciones” de la inteligencia artificial son fallos que preocupan a los expertos

ChatGPT se inventa cosas. Pero a diferencia de los fallos de otros programas, los de los modelos de lenguaje reciben el nombre de “alucinaciones”. Esta característica está a punto de llevar a OpenAI, la empresa dueña de ChatGPT, al banquillo por difamación. Un presentador en una radio de Georgia afirma que el chatbot de moda generó una denuncia falsa en la que se le acusaba de malversación de fondos. La desinformación fue descubierta por el periodista Fred Riehl, que pidió a ChatGPT que resumiera una demanda que la Fundación de la Segunda Enmienda (SAF) -una organización sin ánimo de lucro- presentó ante un tribunal federal. Esta organización acusaba al fiscal general de Washington, Robert Ferguson, de «abuso del proceso legal”. 

Walters no tenía relación con ese caso y ni siquiera estaba mencionado en la demanda, pero ChatGPT ignoró esto. Cuando se le pidió el resumen, generó una respuesta en la que afirmaba falsamente que el caso fue presentado contra Walters por malversación de fondos, algo que nunca ocurrió, mientras servía como director financiero y tesorero de la organización, cargo que tampoco ostentó.

No se quedó allí. Cuando Riehl le pidió a ChatGPT que señalara los párrafos específicos que mencionaban a Walters en la demanda, o que proporcionara el texto completo de la demanda, ChatGPT generó una “invención completa” que no se parece en absoluto a la demanda real, incluyendo un número de caso erróneo, dice la demanda de Walters, a la que tuvo acceso la web especializada ArsTechnica. «Cada afirmación de hechos» en el expediente del caso SAF de ChatGPT «relativa a Walters es falsa», dice la denuncia del presentador.

No es la primera vez que ChatGPT se inventa demandas totalmente falsas. Desde principios de junio, dos abogados se enfrentan a un castigo por la presentación de una demanda contra una aerolínea que incluía referencias a 6 casos judiciales completamente inventados por ChatGPT. El abogado los citó ante el juez sin verificarlos, según reporta Fortune.

Qué son las «alucinaciones» en IA

Durante los últimos meses, los chatbots de inteligencia artificial han captado nuestra atención por su extraordinaria capacidad para producir textos sobre cualquier tema. Sin embargo, rápidamente nos hemos dado cuenta de que no podemos fiarnos de estas IA:  aunque suenen creíbles, sus respuestas contienen errores factuales. 

En la literatura académica, los investigadores han llamado “alucinaciones” a estos errores, definiéndolos como una respuesta confiada dada por una IA que no está justificada por los datos con los que ha sido entrenada. 

El término proviene de la psicología en los humanos, aunque las alucinaciones humanas están asociadas a percepciones falsas, en vez de respuestas. Las “alucinaciones” como etiqueta de los errores de la inteligencia artificial comenzaron a ser más conocidas popularmente a lo largo de 2022, con la apertura al público de ciertos grandes modelos de lenguaje como ChatGPT. Los usuarios comenzaron a señalar falsedades en los contenidos generados y las “alucinaciones” frecuentes se consideran actualmente uno de los mayores problemas de los grandes modelos de lenguaje. “Nadie en este campo ha resuelto el problema de las ‘alucinaciones’”, ha declarado Sundar Pichai, CEO de Google y Alphabet en una entrevista reciente. 

OpenAI ha aludido en diferentes ocasiones a las “alucinaciones”. Sus investigadores las han descrito como “falsedades”, producidas “por modelos de lenguaje que fabrican informaciones íntegras, como escupiendo los hechos” y que tienen “una tendencia a inventar hechos en momentos de incertidumbre”. 

Por qué se producen las «alucinaciones» en IA

Para entender cómo “alucina” un modelo GPT como ChatGPT o Bing Chat, tenemos que saber cómo funcionan estos modelos. OpenAI, aquella compañía que prometía ser un laboratorio abierto, no ha publicado los detalles técnicos de ChatGPT ni Bing Chat pero se conoce el artículo de investigación en el que presentaron a su precursor, GPT-3, en 2020.

En estos grandes modelos de lenguaje, como GPT-3 y GPT-4, los investigadores utilizan un proceso llamado “aprendizaje no supervisado”, que significa que los datos que se utilizan para entrenar al modelo no están especialmente anotados o etiquetados. Después de alimentar al modelo con un corpus enorme de textos, lo que hace es intentar predecir la siguiente palabra en cada secuencia de palabras. Si la predicción del modelo es cercana a la palabra correcta, la red neural actualiza sus parámetros para reforzar esos patrones que llevaron a esa predicción. 

Este proceso de ensayo y error hace que el modelo aprenda de sus errores y vaya mejorando sus resultados. El jefe científico de OpenAI, Ilya Sutskever, piensa que algunos modelos pueden ir más allá que eso, y construir una especie de “modelo de realidad interno”, por lo que pueden predecir más acertadamente. Pero esta idea es controversial, y los detalles técnicos exactos sobre cómo los modelos GPT descubren cuál será la próxima palabra dentro de esas redes neuronales no se conocen por el momento. 

Una de las claves para entender el fenómeno de las “alucinaciones” en la AI es entender este rol de máquina de predicciones que tienen estos grandes modelos de lenguaje. Cuando ChatGPT “alucina”, está buscando información o análisis que no está presente en ese corpus de datos con el que lo han alimentado para rellenar esos espacios en blanco con palabras que suenen bien, como ha explicado Simon Willison, un desarrollador de software experto en este tema. 

La palabra ‘alucinar’ relacionada con los modelos de lenguaje los “antropomorfiza” sin razón

En esa línea también va un trío de investigadores de la Universidad de Oxford y OpenAI que identificaron en 2021 dos tipos mayoritarios de falsedades que los modelos de lenguaje como ChatGPT pueden producir. Los primeros vienen de material inexacto que se encuentra en el conjunto de datos con el que fueron entrenados (como los sesgos que explicamos ya en Newtral). Los segundos surgen de las inferencias que hacen los modelos de situaciones específicas que no se encuentran en su material de entrenamiento: estas son las “alucinaciones”. 

El comportamiento de los grandes modelos de lenguaje es una de las áreas más activas de investigación en estos momentos, y los mismos investigadores que crearon estos modelos siguen descubriendo propiedades de estas tecnologías. Cuando se les pregunta por qué ChatGPT “alucina”, es difícil que puedan señalar una respuesta técnicamente definida. Las redes neuronales que se usan en estos sistemas tienen cajas negras, procesos en los que podemos saber lo que entra y los resultados, pero no su funcionamiento interno. Esto también hace terriblemente difícil, si no imposible, predecir las respuestas de forma exacta. 

Antropomorfizar a la máquina

Algunos analistas, como Benji Edwards, de Ars Technica, consideran que la palabra ‘alucinar’ relacionada con los modelos de lenguaje los “antropomorfiza” sin razón, sugiriendo que tienen características humanas, o les da capacidad de acción, sugiriendo que pueden tomar sus propias decisiones. Ha sugerido usar la palabra “confabular”, algo que varios expertos consideran una mejor aproximación hacia lo que produce la IA. Confabular sugiere más la creación de información coherente aunque posiblemente falsa, que la experiencia de percepciones sensoriales sin estímulos externos, como implica la palabra “alucinación”. 

Edwards también propone el uso de esa palabra, aunque no deja de ser una antropomorfización, y advierte también que los creadores de los grandes modelos de lenguaje comerciales también pueden utilizar las “alucinaciones” como excusa para culpar al modelo de IA de los resultados defectuosos en lugar de asumir la responsabilidad ellos mismos. 

“¿Por qué llamar a los errores «alucinaciones»? ¿Por qué no “basura algorítmica”? ¿O fallos?”, se pregunta Naomi Klein desde las páginas de The Guardian. Y se responde que en ese acto intentan mostrarse como los creadores de una inteligencia de propósito general, o AGI: “al apropiarse de una palabra de uso común en psicología, psicodelia y diversas formas de misticismo, los impulsores de la IA, al tiempo que reconocen la falibilidad de sus máquinas, alimentan la mitología más preciada del sector: que al construir estos grandes modelos lingüísticos y entrenarlos en todo lo que los humanos hemos escrito, dicho y representado visualmente, están en proceso de dar a luz una inteligencia animada a punto de provocar un salto evolutivo para nuestra especie”.