La Inteligencia Artificial generativa nos permite realizar diferentes tareas minimizando el tiempo dedicado a su ejecución. Uno de los principales usos tiene que ver con la edición y elaboración de artículos periodísticos, estudios o informes, entre muchos otros formatos. Y, desde su irrupción, muchos organismos se han tenido que encontrar con el difícil desafío de buscar la manera de identificar si un trabajo se ha realizado con IA o no.
Pese a que de manera paralela al desarrollo de la IA han ido surgiendo diferentes herramientas que nos permitían conocer, al menos de un modo aproximado, si un trabajo se había hecho con Inteligencia Artificial, muchas de ellas no lograban ser todo lo fidedignas que se esperaba de ellas. Recientemente, un estudio publicado por un grupo de investigadores, la mayoría de ellos pertenecientes a la Universidad de Maryland, ha afirmado haber encontrado la fórmula que le permite identificar, con una tasa de acierto superior al 90%, si se ha usado IA para redactar un texto.
Una tasa de acierto del 90%
Según la publicación realizada, la herrammienta Binoculars detecta “más del 90% de las muestras generadas de ChatGPT (y otros modelos de lenguaje) con una tasa de falsos positivos del 0.1%”. Ante la dificultad de detectar los textos que habían sido generados por herramientas de IA, dado el gran número de “comportamientos complejos” que se comprobaban en el análisis de los textos, este grupo de investigadores se apoyó en un par de modelos de lenguaje previamente entrenados para, a través de una serie de cálculos definidos como “simples”, saber identificar cuándo un texto está escrito por una persona y cuando su autoría obedece a una de las herramientas de IA que podemos encontrar actualmente en el mercado.
Para llevar a cabo la prueba, se ha evaluado “exhaustivamente” a la aplicación ante diferentes situaciones y fuentes de texto. Además, no destaca solo por haber sido capaz de reunir una tasa de acierto superior al 90%. Sino que, además, también reduce los falsos positivos en un 0.01%. Evitando, por tanto, las clásicas situaciones que se han convertido en un habitual durante los últimos meses en entornos como el académico en el que, en función del tipo de herramienta utilizada, un texto era identificado como artificial o no, generando dudas al respecto de su autoría.
Para todos los modelos
Al contrario de lo que obteníamos con otras aplicaciones, el rendimiento de Binoculars es exactamente el mismo con independencia del modelo de lenguaje sobre el que se desee realizar la detección, puesto que no ha sido entrenado en exclusiva para ninguno de ellos.
Por último, en el informe también se muestra que no existe sesgo a la hora de mostrar el resultado en el caso de que el documento haya sido creado por hablantes no nativos, inglés en el caso del estudio al que estamos haciendo referencia. Cuando es habitual que la gramática presente ciertas oportunidades de mejora. En este caso, la tasa de acierto también ha sido de un 99.67%, demostrando la efectividad del programa.
