GLTR: Herramienta estadística fiable para identificar texto generado por IA

El nuevo método estadístico puede detectar contenido generado por IA.

Funciona identificando textos demasiado predecibles en lugar de solo marcar errores en textos.

¿Cómo funciona?

La nueva técnica —llamada Giant Language model Test Room (GLTR)— se basa en un modelo entrenado con unos 45 millones de textos de webs. Tiene acceso a uno de los modelos públicos más grandes, GPT-2.

Así, puede observar qué habría predicho GPT-2 en cada posición (para cualquier entrada textual) y funciona eficientemente contra GPT-2 y muchos otros modelos.

GLTR representa una herramienta forense visual para identificar textos generados automáticamente. Muestra 3 histogramas diferentes agregando información sobre todo el texto.

Referencia: The Harvard Gazette | GitHub

Solo introduce un párrafo en la casilla y resaltará todas las palabras en cuatro colores, cada uno denotando la predecibilidad de la palabra en el contexto de lo que le precede. Púrpura: no predecible; rojo: ligeramente predecible; amarillo: moderadamente predecible; verde: altamente predecible.

Así se ve un párrafo generado por máquina:

El primer histograma muestra cuántas palabras de cada categoría aparecen en el párrafo. El segundo muestra la ratio entre probabilidades de la palabra más predicha y la siguiente. El tercero representa la distribución sobre entropías de predicción.

Por supuesto, la incertidumbre será mayor para textos escritos por humanos, especialmente artículos de investigación y textos académicos. Así se ve el resumen de un artículo (sobre galaxias EAGLE):

El equipo también probó su herramienta con graduados en informática. Los estudiantes detectaron 50% de párrafos generados por computadora, pero con la herramienta identificaron el 72%. El porcentaje podría mejorar con algo de entrenamiento.