Desde la perspectiva de los cardenales, Christopher Olah estaba este lunes a la derecha del Padre. El cofundador de la empresa de inteligencia artificial (IA) Anthropic acompañaba a León XIV en la presentación de su encíclica Magnifica Humanitas. Sentar a la mesa del Papa a uno de los popes contemporáneos de Silicon Valley ha sido la guinda simbólica de un documento que carga directamente contra las miradas del mundo de los cibermagnates, de las que Anthropic ha querido distanciarse. Sobre todo, desde que Anthropic renegase de Donald Trump al hilo de su intención de usar su IA sin límites con fines militares.
Publicidad
Magnifica Humanitas quiere ”desarmar la IA”. Puede que de forma figurada y no tan figurada. 110 páginas y 245 párrafos “sobre la custodia de la persona en el tiempo de la inteligencia artificial”. Firmada el 15 de mayo, 135 años exactos después de la Rerum Novarum de León XIII, el documento con el que la Iglesiarespondió a la Revolución Industrial. Robert Prevost ha hecho de la era de la IA su particular cuestión obrera.
Pero, en realidad, la encíclica es el primer gran documento en que un estado condensa el estado de la cuestión técnica, científica y ética que desde el lado académico (no financiero) hace de esta tecnología. Una tecnología (o herramienta) que, para analistas como Marta Peirano, está encapsulada “en una burbuja” hinchada por los nuevos llaneros solitarios (monopolísticos) de Silicon Valley. Como explicaba en Esto no ha pasado, “en la IA reciente han dominado directores ejecutivos que no son ingenieros pero que tienen mucha imaginación” y poca ciencia.
Sin conciencia moral, sin inteligencia real pero con un lenguaje muy fino
León XIV sostiene en la encíclica que la IA puede imitar funciones humanas pero carece de conciencia moral, corazón y capacidad de amor, y por eso no puede sustituir el juicio humano en decisiones irreversibles. En conversación con Newtral.es, el neurocientífico experto en la conciencia António Damásio (USC) coincide en la idea de que una IA no sabe siquiera que existe. No puede ser un sujeto moral, entre otras cosas porque carece de cuerpo y terminaciones nerviosas y, por lo tanto, de sentimientos. “Sin sufrimiento, no hay consciencia”. ¿Sufre una IA?
Publicidad
Un algoritmo puede ser, como mucho, una simulación. Lo que ocurre es que los modelos de lenguaje, como ChatGPT, son ya muy buenos hablando. Y el habla o la conversación son una piedra angular de lo genuinamente humano. Aun sin existir un origen divino, es una forma de expresar la inteligencia, “pero lenguaje no es lo mismo que inteligencia”, señala Damásio.
Dicho esto, hay un pecado originalen el entrenamiento de los modelos de lenguaje del que justamente Anthropic ha tratado de huir, según el profesor Federico Peinado (UCM): “El exceso de adulación. Para crear modelos de lenguaje como GPT se requiere una fase donde se utiliza una técnica de aprendizaje por refuerzo. Esto significa que el objetivo de la IA nunca es llegar al fondo de la cuestión o generar la solución perfecta sino conseguir la mejor calificación posible por parte de sus evaluadores humanos”. La IA nos quiere contentos aunque ello implique inventar o exagerar lo que convenga. Y eso que algunas investigaciones ya apuntan a que nos terminan exasperando, como señalaba en 2024 a Newtral.es el profesor Cèsar Ferri (UPV), evaluador de GPT-4.
Las decisiones de las IA no son humanas pero están sesgadas por humanos
En el párrafo 9, la encíclica destaca que la IA “no es neutral, porque toma el rostro de quien la concibe, la financia, la regula y la utiliza”. Algo que lleva décadas denunciándose desde la academia. La fiósofa Carissa Véliz, experta en ética de la IA en la Universidad de Óxford (Reino Unido) precisa que los algoritmos son “muy conservadores, sexistas y racistas, porque están basados en el pasado”.
Una cuestión no sólo de entrenamiento. “Están hechos para ganar dinero, no para apoyar la democracia ni decir la verdad”. Buena prueba de ello es el ya clásico documento On the Dangers of Stochastic Parrots, que le costó el puesto en Google a Timnit Gebru. La idea es que los grandes modelos de lenguaje son loros estocásticos (azarosos, probabilísticos) que reproducen palabras o sonidos sin entender el contexto. Colocan mensajes que han visto antes millones de veces en la historia. Y eligen conforme a los sesgos de las personas que los han entrenado y los datos pasados.
El catedrático en Inteligencia Artificial y Democracia en el Instituto Universitario Europeo en Florencia y la UPV Daniel Innerarity explica que a las IA les falta sentido común y comprensión del mundo. Pero, sobre todo , “una realidad que les objete”. Son pequeñas “tiranas porque un tirano es alguien para el cual la realidad no es capaz de objetarle nada serio”, dice.
Cuando los humanos descubrimos algo, en ciencia, en política o en arte, es porque “algo se nos ha resistido”. A los grandes modelos no les pasa. “Una tecnología basada fundamentalmente en los datos, que son siempre datos del pasado, es inevitablemente conservadora”, resume el filósofo. Un movimiento como el Me too “habría sido imposible en un mundo enteramente digitalizado”.
.
Publicidad
El algoritmo que hundió a miles de familias
Entre 2005 y 2019, la Agencia Tributaria neerlandesa acusó falsamente de fraude a unas 26.000 familias que recibían ayudas para el cuidado de sus hijos. Un clasificador automático puntuaba el “riesgo” de cada solicitante. El algoritmo trataba tener una segunda nacionalidad como factor de riesgo, de modo que las personas sin nacionalidad neerlandesa recibían puntuaciones más altas. Amnistía Internacional lo documentó en el informe Xenophobic Machines. El diseño del sistema golpeó de forma desproporcionada a familias de renta baja y origen migrante.
Las consecuencias fueron las de una ruina proféticamente anticipada (y producida) por una máquina. Miles de familias cayeron en la pobreza y el sobreendeudamiento. Más de 2.000 menores acabaron retirados de la custodia de sus padres. El escándalo, conocido como toeslagenaffaire, forzó en enero de 2021 la dimisión en pleno del Gobierno de Mark Rutte. Es exactamente lo que ilustra de qué habla León XIV cuando advierte haber escuchado “voces muy inquietantes” respecto a “algoritmos capaces de negar el acceso a la atención médica, el empleo o la seguridad basándose en datos injustos y sesgados”.
Humanos de segunda clase
A partir del párrafo 173, Magnifica Humanitas entra en lo que Cory Doctorow lleva años denunciando como el trabajo invisible que sostiene la economía digital. Para este el ciberactivista, escritor y profesor de la Universidad de Cornell (EE.UU.), hay una legión de etiquetadores de datos, moderadores de contenidos, mineros de tierras raras, mayoritariamente del Sur Global y “a cambio de remuneraciones mínimas”, según el propio texto de León XIV.
A Doctorow le preocupa menos el estallido financiero de la burbuja de las grandes IA, que la transferencia de daños al mercado laboral. “La IA no puede siempre hacer tu trabajo. Pero un comercial de IA puede convencer a tu jefe de que te despida y te sustituya por una IA que no puede hacer tu trabajo”, sentencia. Cuando la burbuja reviente, los modelos fundacionales caros se apagarán, pero los puestos de trabajo raramente volverán a ser ocupados por personas.
La huella ambiental de la IA y sus centros de datos
Magnifica Humanitas puede leerse como la aplicación a la inteligencia artificial del marco que Francisco construyó para el medio ambiente en Laudato si’ (2015). El puente más explícito es el “paradigma tecnocrático”, expresión que Francisco acuñó en Laudato si’ para describir la mentalidad que considera a toda la realidad como materia prima manipulable. Francisco lo aplicaba a la explotación de los recursos naturales.
León XIV lo traslada a los datos, los modelos computacionales y la capacidad de cálculo, advirtiendo de que cuando esos recursos se concentran en pocas manos “las reglas terminan siendo dictadas por quienes los poseen”. En ambos textos la tesis de fondo es la misma, la técnica no es neutral y carga con los intereses de quien la diseña.
Un detector automático apunta a que hay párrafos de la encíclica escritos con IA, aunque la mayoría es humano
Los centros de datos que entrenan los grandes modelos consumen, en palabras de la encíclica, “enormes cantidades de energía y agua” e influyen “significativamente” en las emisiones de CO2, y León XIV pide “soluciones tecnológicas más sostenibles” ante una demanda creciente impulsada por los grandes modelos de lenguaje. Las estimaciones de expertas como Sasha Luccioni o los trabajos sobre el agua de Shaolei Ren coinciden. Una interacción con un modelo grande puede consumir entre diez y treinta veces más energía que una búsqueda tradicional en Google. Los conflictos por agua en torno a centros de datos ya son comunes en Arizona, Iowa, Aragón o Países Bajos.
Tanto Francisco como León XIV evitan el rechazo frontal a la tecnología y optan por el discernimiento, distinguir los usos que sirven a la persona de los que la instrumentalizan. No podía ser de otra manera. Algunos especialistas se han apresurado a pasar el texto de Magnifica Humanitas por un detector de IA. El considerado más fiable detector de IA, Pangram, señala que algunos párrafos contienen entre un 40% y un 100% de IA.Puede ser parte de un artefacto de traducción. O puede que el Papa sepa que la IA es una herramienta divina para recopilar y ordenar ideas. Y hay suficientes indicios como para pensar que Claude (de Anthropic) sea su favorita.
Por qué la de Anthropic parece la IA divina
El fundador de Anthropic, Christopher Olah | BRAMBATTI, Ansa, Efe
A finales de 2020, los hermanos Dario y Daniela Amodei abandonaron OpenAI junto a quince científicos clave junto a Olah para fundar Anthropic. No compartían la visión de Sam Altman en materia de seguridad. Como señala Federico Peinado en The Conversation,desde Anthropic propusieron llamada IA Constitucional. Consiste en “inculcar una serie de principios fijos e inquebrantables, una constitución, en el modelo como base de su entrenamiento, de manera que primen la honestidad y la modestia por encima del espectáculo y la satisfacción del usuario.
En la tecnológica americana propusieron algo así como un detector de mentiras informático. El objetivo es asegurarse de que los valores de esos billones de parámetros de las neuronas artificiales del sistema se corresponden con aquello que buscamos, no darnos la razón porque sí. Este es uno de los ejes de la encíclica.
Peinado recuerda que tras el choque con Trump, a finales de marzo de 2026 Anthropic organizó un seminario que reunió destacados líderes y teólogos cristianos junto a sus propios investigadores. Se trataba de buscar asesoramiento externo para el desarrollo del “espíritu”, del comportamiento ético y moral, de sus próximos modelos. Como Olah declaraba en su intervención, el impacto social de la IA ha alcanzado una dimensión tan profunda que “exige trascender los límites de la propia tecnología”. De San Francisco a Roma.
