Qué empresas están detrás del contrato para supervisar la IA en España

En pleno debate sobre los riesgos de la Inteligencia Artificial (IA), el Gobierno está a punto de adjudicar un contrato clave para sentar las bases de esta tecnología en España a Deloitte y OdiseIA, una gran consultora y una asociación, ambas fuertemente vinculadas a empresas con intereses en el sector. La noticia, avanzada por El Mundo, ha suscitado dudas entre los expertos consultados por Newtral.es sobre en qué punto se encuentra el contrato y la idoneidad de los adjudicatarios. Desde OdiseIA aseguran que sólo están a la espera de la reunión inicial para comenzar a trabajar, aunque desde la Junta de Contratación indican que el expediente se encuentra en la fase previa a la adjudicación. 

La noticia ha provocado múltiples reacciones en el sector que han sido recogidas por varios medios. Por un lado, de funcionarios TIC que ven cómo se externalizan tareas críticas para la administración en favor de grandes consultoras. Por el otro, de expertos y organizaciones defensoras de derechos civiles que han mostrado su malestar por la recomendación del Gobierno por el conflicto de intereses que supone que empresas que desarrollan estas tecnologías estén detrás del código ético que las regulará. 

Consideran que la repercusión social de la IA es demasiado grande para dejar la supervisión a las propias empresas que la desarrollan, y creen que esto supone menos transparencia, menos capacidad de ejercer el derecho de rendición de cuentas y menos participación de la sociedad civil en la gobernanza algorítmica. 

Cómo es el contrato para sentar las bases de la IA

El expediente 2022EtL00040 recoge el contrato que el Gobierno ha preparado para sentar las bases de la IA en España. Consta de dos lotes: el primero abarca actividades relacionadas con el impacto de la IA en la sociedad, y el lote 2 se refiere a las actuaciones relativas a cumplimiento normativo, específicamente el reglamento europeo. 

Este segundo lote es el contrato que ha sido recomendado por la SEDIA a la Junta de Contratación para ser otorgado a Deloitte y OdiseIA. Comprende el desarrollo de un sello de certificación e informes sobre los entornos de experimentación de sistemas de IA, entre los que se encuentra la consultoría sobre un piloto nacional de despliegue del nuevo reglamento de IA. Además la empresa adjudicataria deberá elaborar guías para las empresas, y proponer los procedimientos internos de trabajo de la futura Agencia de Supervisión de la IA, según indica el pliego de cláusulas administrativas. 

Para la licitación del lote 2 se presentaron 4 ofertas, entre ellas la de la UTE (unión temporal de empresas) de Deloitte y OdiseIA, cuyo nombre oficial es ‘Observatorio del impacto social y ético de la inteligencia artificial’, que obtuvo más puntuación. El criterio de valoración ha tenido en cuenta por un lado la oferta económica. Deloitte y OdiseIA presentaron una oferta por 1.644.628 euros, que ha resultado recomendada para adjudicación (aquí puedes ver el PDF).

El segundo criterio de valoración son los medios personales y técnicos, entendiendo como tales las titulaciones, los artículos publicados, las ponencias en foros nacionales e internacionales, y la experiencia en procesos de estandarización de normas y evaluaciones de conformidad de los miembros del equipo. 

¿Se han supervisado los candidatos para descartar conflictos de interés? No se encuentra este tipo de información en los pliegos. “La mesa de contratación es quien debería mirar eso”, explica Julia Suderow, abogada y experta en contratación pública. Desde Newtral.es hemos pedido esta información a la Junta de Contratación, que nos remite a SEDIA. Hasta la publicación de este reportaje no hemos recibido respuesta de la Secretaría. 

Las empresas detrás del contrato para regular la IA

Deloitte es una conocida empresa de auditoría, está entre las llamadas Big Four, junto con PwC (Pricewaterhouse Coopers), Ernst & Young, y KPMG, y es una de las más grandes del mundo. Tiene alianzas con proveedoras de servicios de IA como Google, Oracle o SAP, según indica su propia página web. Se ha presentado a esta licitación con una asociación sin fines de lucro, OdiseIA, no tan conocida. 

En la junta directiva y entre los directores de OdiseIA no hay ningún representante de la sociedad civil. Figuran, en cambio, una decena de personas que trabajan a tiempo completo para empresas con fuertes intereses en torno a la IA, como militares, miembros vinculados con el Gobierno o con la Iglesia. Estos datos pueden verse en sus cuentas de LinkedIn. 

Su director de Salud, Javier Fernandez-Castañón, trabaja para Palantir. Palantir da servicios fundamentalmente al sector militar y policial y ha desarrollado una serie de poderosas herramientas de espionaje, perfilado de ciudadanos y tecnología predictiva. Ha firmado contratos con el Pentágono y otras agencias del Gobierno de EE.UU. por más de 1.400 millones de dólares desde la presidencia de Trump. El uso de su software por parte de la agencia de inmigración para rastrear y detener a cientos de personas sin documentos y el presunto papel de Palantir junto a Cambridge Analytica para obtener datos de Facebook con los que perfilar a votantes han sido dos de sus grandes escándalos.

La fundadora y presidenta de OdiseIA, Idoia Salazar, es miembro de la junta ejecutiva en un consorcio, el Global AI Ethics Institute, perteneciente al Institute for Ethics in Artificial Intelligence TUM. Este instituto fue financiado por Facebook en un acuerdo que levantó un escándalo en Alemania cuando se descubrieron los términos del contrato, que ponían en riesgo la independencia del instituto. 

El número 2 de OdiseIA, Richard Benjamins, es actualmente jefe de IA y estrategia de datos en Telefónica. La codirectora de OdiseIA, Nuria Oliver, trabaja en Vodafone y forma parte de DataPopAlliance, think tank financiado por Vodafone, Amazon, Google y Meta. Una de sus directoras de área es Juncal Alonso, una persona que trabaja en Twitch, plataforma de streaming perteneciente a Amazon. Su director de comunicación, Juan Carlos Santamaría González, trabaja en Inithealth, del Grupo Init, una empresa que montó una plataforma para aplicar IA a los datos de salud de mujeres embarazadas. 

En el equipo de OdiseIA también hay personas vinculadas con la administración pública. Es el caso de su secretario, Jesús Avezuela, quien, además de director de la Fundación Pablo VI, es Letrado del Consejo de Estado. Hay dos personas ligadas a las instituciones: Asunción Gómez, que forma parte del consejo asesor de la SEDIA; y Borja Adsuara, del Consejo Asesor de la Carta de Derechos Digitales. Además de ellas y Avezuela, hay un militar. Ángel Gómez de Ágreda es agregado de Defensa y oficial del Ejército del Aire. 

OdiseIA, una asociación “mayoritariamente pro-bono”

OdiseIA es una asociación sin ánimo de lucro, inscrita en el Registro Nacional de Asociaciones con el mismo domicilio de la sede de la Fundación Pablo VI, un think tank regido por un patronato compuesto mayoritariamente por obispos de la Conferencia Episcopal Española, según su web. 

Newtral se puso en contacto con OdiseIA para una entrevista vía videoconferencia. En esa reunión, un representante solicitó que la asociación respondiera por escrito tras haber escuchado las preguntas, a lo que este medio accedió con la idea de facilitar el buscar ciertos detalles o cifras concretas. En el documento con las respuestas que OdiseIA entregó a Newtral explican que la entidad cuenta «con cerca de 200 profesionales asociados y su trabajo en OdiseIA ·es variable en función de la actividad de la asociación y su disponibilidad».

OdiseIA tiene dos tipos de socios, los individuales, que pagan una cuota anual de 75 euros, y los socios institucionales (Deloitte, PWC, Narrativa, Cenit, Hopes, entre otros), con aportes anuales entre los 5.000 y los 350 euros, en función de su tamaño.

En la presentación de OdiseIA, en el Google Campus de Madrid en septiembre de 2019, dijeron que parte de la acción que desarrollarían tendría forma de lobby. «Nuestra idea es servir de consejo para gobiernos e instituciones públicas y privadas, a los que aportaremos nuestras investigaciones para que les permitan encontrar un balance entre el avance tecnológico y la seguridad de los ciudadanos», se dijo desde el escenario, según recogió Pablo Romero en Público.

La asociación lanzó un crowdfunding en 2020 para empezar a funcionar, en el que pedían dinero para vigilar que la IA se use ética y responsablemente. También decían que no había detrás “ninguna gran empresa que intente hacer un lavado de cara, ni dependencias estatales, ni estamos a merced de ningún poder fáctico” y se definían como un think tank que no se dedicaría sólo a observar. Tuvieron 55 cofinanciadores y lograron una parte pequeña de lo que pedían (2.963 de 12.300, su objetivo final no logrado). 

Desde su nacimiento, en noviembre de 2019 ha realizado trabajos financiados por licitaciones públicas. Uno de ellos es el diseño del banco de pruebas (sandbox) sobre la ley de IA, que servirá de marco para el reglamento de IA de la Unión Europea, una iniciativa de la SEDIA. Otro ha sido un programa de formación para más de 100 empleados del Ministerio de Asuntos Económicos y Transformación Digital y la SEDIA. Según OdiseIA, también han dado servicios de asesoramiento a entidades privadas, que están sujetos a privacidad contractual. 

El año pasado presentaron una guía de buenas prácticas en IA para ayudar a las empresas. Google y Microsoft patrocinaron esta iniciativa, en la que también participaron IBM y Telefónica. Según OdiseIA, “estas aportaciones son sensiblemente inferiores en órdenes de magnitud a las de otras asociaciones de tipo empresarial”, y gran parte del trabajo de la asociación es pro-bono, es decir, sin recibir remuneración a cambio.

El conflicto de intereses de las empresas en IA y el soft-lobbying

Al momento de escribir el reportaje, los estatutos de la asociación no están en la web, aunque desde OdiseIA transmiten a Newtral.es que los colgarán próximamente. 

Lo cierto es que no tienen obligación de hacerlo. Las asociaciones sin ánimo de lucro no tienen tantas obligaciones de transparencia como otro tipo de organizaciones o empresas, y por eso son ideales para hacer soft-lobby, según Jaume-Palasí. Este término alude a un tipo de prácticas en la que las empresas utilizan estas asociaciones y otros medios, como la financiación de investigaciones para respaldar el testimonio de expertos, para influir en la opinión pública y por lo tanto, dirigir las decisiones que se toman en un gobierno. 

A días de asumir la presidencia de la UE, España está ante un momento estratégico. Empresas y grupos de interés en el ámbito de la IA han visto la oportunidad de incidir en la supervisión de la IA.

“Estamos viendo que el sello de certificación y la agencia de supervisión de la IA se ha otorgado ahora a una ONG y una consultora. Y la ONG no destaca por ser convencional sino en cuyos cargos directivos se sienta gente que durante el día trabaja en grandes compañías como Telefónica o Palantir, o incluso gente que trabaja para el Gobierno mismo”, dice Lorena Jaume-Palasí. “Lo cual es también en sí un ejemplo simbólico de cuánto se están difuminando las fronteras y los límites que hemos puesto en procesos democráticos”, reflexiona. 

“El hecho de que compañías que son conocidas precisamente por su falta de ética, como Palantir, sean quienes están redactando aspectos que la futura Agencia Española de la IA debe considerar a la hora de evaluar precisamente este tipo de entidades es un conflicto de interés enorme”, dice Jaume-Palasí, que considera que es la Administración la que tendría que encargarse de esto. 

Carme Artigas, la Secretaria de Estado para la Digitalización y la Inteligencia Artificial ha reivindicado en múltiples ocasiones el papel de España como país pionero a la hora de crear un marco legal para regular la IA, pero según indican en la página 11 de la memoria justificativa de la licitación de este contrato, no existen recursos o perfiles en el Gobierno para esto. Esto contrasta con la queja de más de media docena de funcionarios TIC que  dicen que se sienten ninguneados. La ha recogido El Confidencial en un reportaje en el que constata el boom de contratos otorgados por la Administración General del Estado a las Big Four. 

«La IA es un aparato que genera cambios sociales, por lo tanto, el poder de supervisión debe ser compartido con la sociedad civil»

Varias organizaciones de la sociedad civil que llevan años trabajando en la intersección entre tecnología y sociedad con foco en los derechos digitales (Algorace, Fundación Eticas, Civio, Lafede.cat, Observatorio Trabajo, Algoritmos y Sociedad, Komons y Algorights, que son parte de la red IA Ciudadana) han reclamado públicamente que a pesar de haber pedido a la SEDIA ser tenidos en cuenta en las actividades para la gobernanza de la IA, el Gobierno no les da lugar. 

“La IA es un aparato que genera cambios sociales, por lo tanto, el poder de supervisión debe ser compartido con la sociedad civil. Lamentablemente la SEDIA ha demostrado en todo momento que su prioridad son las empresas y que solo contempla la tecnología desde una perspectiva económica y no de progreso y participación social”, dice Membrives i Llorens, de Lafede.cat.