Cómo detectar textos generados por IA

Tiempo de lectura: 9 min

“Este texto ha sido escrito utilizando una inteligencia artificial”. Una frase que empezamos a ver debajo de artículos, concursos, o publicaciones científicas firmadas por robots nos sitúa ante la cuestión de cómo detectaremos miles o millones de textos generados por inteligencia artificial (IA) cuando no incluyan esta advertencia.

Con la llegada de ChatGPT hablamos con robots que no sólo son coherentes, sino que además han mejorado sus sistemas para ser creíbles. No puedes fiarte de sus textos. El nivel alcanzado por los últimos modelos de desarrollo de lenguaje los hace capaces de liberar grandes cantidades de falsedades en línea, en un mundo signado por la polarización y las campañas desinformativas.

Profesores y educadores también se preguntan cómo enfrentarse a ChatGPT en el aula, ante una IA que genera textos diferentes cada vez. Paul Graham ha acuñado la palabra “IAgiarismo”: ya no se trata de quitar el crédito a otra persona, como en el «plagiarismo», sino más bien de reclamarlo falsamente para ti mismo.

La IA ha demostrado que destaca en el uso del lenguaje, y lo hace de manera que consigue engañarnos. Un estudio de la Universidad de Washington ha demostrado que sin entrenamiento específico, los humanos sólo son capaces de detectar texto generado por GPT-3 (el modelo en el que está basado ChatGPT) a un nivel coherente con el azar. Si te parece que tú lo harías mejor, puedes hacer una prueba en la web Real or Fake Test y de paso ayudar a los científicos de la Universidad de Pensilvania que investigan el tema.

Qué nos diferencia de las máquinas cuando escriben

Los modelos de IA generativa del lenguaje, como ChatGPT o el chat de IA de Bing, han alcanzado un gran nivel simulando el lenguaje humano. Lo hacen prediciendo las palabras que usaremos en una especie de autocompletado avanzado. No hay nada realmente nuevo en las frases que generan, porque se basan en análisis matemáticos de inmensas cantidades de textos con las que se han nutrido, y por eso pueden ser muy buenas en ese autocompletado.

Los investigadores están desde hace tiempo buscando métodos para saber qué indicadores buscar para detectar un texto sintético. ¿Qué diferencia un texto humano de uno generado por una IA?

Un generador de texto artificial es una máquina de patrones, y los humanos escribimos usando estructuras gramaticales. Aunque también hay ciertos tonos y cadencias predecibles de acuerdo a la situación (un email laboral, un discurso, un saludo de cumpleaños), hay una brecha azarosa e impredecible en los discursos que generamos.

Giant Language Model Test Room (GLTR) es una herramienta que busca ese nivel de aleatoriedad y fue desarrollada por investigadores de Harvard y el MIT-IBM Watson AI Lab en 2019. Aún se puede probar su funcionamiento online, que colorea las palabras de acuerdo a la probabilidad de su predicción de acuerdo al texto que tiene justo antes, a la izquierda. Si ves mucho verde en un texto, que significa que una palabra está en el top 10 de las más predecibles, lo más probable es que lo haya escrito una máquina.

Pero la IA avanza rápidamente, y quizás si pasas un texto generado por ChatGPT por la herramienta anterior, tengas problemas para detectarlo. GPT-3 (Generative Pre-trained Transformer 3), el modelo de lenguaje en el que está basado ChatGPT, es la versión mejorada de GPT-2, el utilizado por esta herramienta, GLTR.

Mientras más grande y poderoso el modelo de lenguaje, más difícil resulta distinguir entre texto generado por IA y humanos, como advierten expertos citados por MIT Technology Review. A modo de un juego del gato y el ratón, la mayoría de detectores de textos generados por IA se basa en GPT-2 o modelos anteriores, y no son eficientes frente a la última generación de modelos de lenguaje.

Cómo son los textos generados por IA

¿Qué características de los textos generados por IA nos puedan dar una señal de que no han sido producidos por humanos, o mejor dicho, de que hay una IA detrás de su creación?

Cualquiera con un poco de experiencia se dará cuenta de algo rápidamente: los chatbots son generadores de clichés, como llamó David Karpf, investigador de la Universidad George Washington, a ChatGPT tras usarlo. Esta característica es típica del lenguaje generado por máquinas: imitan, y por lo tanto, repiten.

A las inteligencias artificiales se les da muy bien reconocer y también reproducir patrones. ChatGPT trata de predecir la siguiente palabra en una oración y en ese proceso compara múltiples opciones. Un método propuesto por un profesor de informática de la Universidad de Maryland, Tom Goldstein, para detectar textos generados por IA se basa en esos patrones.

Goldstein propone usar marcas de agua, que no son visuales como puede inducirnos a pensar su nombre, sino más bien una función “secreta” a la vista, vertida en el código informático. La función de esas marcas de agua sería la de contener ciertos patrones de palabras. Al hacer un rastreo del texto, si las reglas contenidas en esas marcas de agua se han roto muchas veces, podemos sospechar que hay un ser humano detrás.

Clichés, palabras comunes, sin erratas: así son los textos generados por IA

Un método común es el de utilizar un software que analiza diferentes características del texto, entre ellas, si existen patrones en la puntuación o la longitud de las frases, el grado de fluidez del texto, o la frecuencia con la que aparecen determinadas palabras. Un equipo de investigadores de Google descubrió en 2019 que los textos generados por una IA suelen utilizar más las palabras más comunes (como it, is o the, en inglés), en vez de palabras pintorescas o exóticas; y esta es una de las características que buscan los detectores.

Los textos generados por IA suelen ser perfectos en gramática, porque está basada en reglas, y también en ortografía. Una errata es un buen indicador de rastro humano. Nuestros textos, además son muy variables, con mezcla de estilos y jerga propia.

Aplicaciones para detectar textos generados por IA

OpenAI

Entre los investigadores que ya están trabajando en sistemas que permitan detectar textos generados por IA está la misma empresa que ha creado ChatGPT, OpenAI. Nadie mejor para poner el cascabel al gato que el propio creador, aunque por el momento sus resultados no son para tirar cohetes y así lo advierten ellos mismos. En sus evaluaciones, el sistema identificó correctamente el 26% de los textos escritos con IA (verdaderos positivos) como «probablemente escritos con IA», mientras que etiquetó incorrectamente como escrito con IA el 9% de los textos escritos por humanos (falsos positivos). Recomiendan no usarlo con textos cortos ni en español. Su uso es gratuito pero hay que registrarse.

GPTZero

La impredecibilidad de los textos procedentes de humanos es en lo que se enfoca esta herramienta para detectar texto generado por IA. Dirigida a educadores, GPTZero fue creada por Edward Tian, un estudiante de la Universidad de Princeton (EE.UU.) en el año nuevo de 2022. Esta herramienta busca en los textos su perplejidad (perplexity) y su explosividad o varianza (burstiness). Perplejidad, en teoría de la información, es una medida del rendimiento de un modelo de probabilidad al predecir una muestra; e indica la complejidad del texto. Si el texto tiene alta complejidad, es más probable que lo haya escrito un humano. Si el texto es más familiar al bot, porque ha sido entrenado con esos datos, tendrá menor complejidad y por lo tanto es más probable que haya sido generado por una IA. Por otro lado, la explosividad compara las variaciones de las frases. Los humanos tendemos a escribir con más explosividad. Por ejemplo, usamos oraciones largas o complejas junto con otras más cortas. Las frases de los textos generados por una IA suelen ser más uniformes. Permite su uso gratuito con registro y se pueden subir documentos.

Turnitin

La compañía que comercializa el software antiplagio que se utiliza actualmente en 15.000 instituciones ha anunciado la creación de un detector de textos generados por IA que identifica el 97% de los escritos producidos por ChatGPT y GPT-3, con menos de 1 de cada 100 falsos positivos, según ellos.

CheckGPT

Dado que las máquinas recolectan datos de varias fuentes diferentes, pueden generar falsedades. Desde el principio, los usuarios de ChatGPT detectaron que a menudo ChatGPT devuelve respuestas sobre hechos que nunca ocurrieron con un nivel de detalle que asombra. Una herramienta desarrollada por Got AI apunta directamente a esos errores y se presenta como el primer modelo que detecta alucinaciones de GPT-3,5 (el modelo de ChatGPT) dirigido a empresas. Su método es el de ejecutarlo contra una base de datos de “hechos probados” (como una gran colección de artículos o de conocimiento) o de errores conocidos en los textos generados por AI que sirven para mitigar los riesgos. No es accesible al público de forma gratuita.

Content at Scale

Tras poco más de un año de desarrollo, esta compañía de marketing situada en Arizona ha lanzado su propio detector de textos generado por IA. Las pruebas que hemos hecho no han logrado reconocer texto generado por ChatGPT. Se puede usar de forma gratuita y sin registro.

Otros detectores de texto generados por IA que están basados en GPT2: