En el intento de hacer analogías entre el funcionamiento del cerebro humano y el de los sistemas algorítmicos complejos ―como los de la inteligencia artificial― utilizamos metáforas que, a veces, pueden resultar inapropiadas; es el caso de las denominadas alucinaciones de las IAGen.

Las IAGen no alucinan, no tienen delirios, no divagan, no ríen ni lloran. No son mentes humanas, son chats conversacionales de grandes modelos de lenguaje que funcionan probabilísticamente de manera automatizada.

Las mal llamadas alucinaciones son errores o fallas: momentos en los que el sistema de la inteligencia artificial produce resultados inesperados, sin sentido. Un ejemplo claro de estas fallas se ve en el procesamiento del lenguaje natural cuando, en algunos momentos, la inteligencia artificial genera textos que no tienen coherencia, con errores gramaticales o ideas absurdas. Esto puede ser un problema serio en aplicaciones como la traducción automática, donde la precisión es superimportante.

¡A veces, ni siquiera los mismísimos diseñadores e ingenieros de los algoritmos de estas IAGen entienden por qué ocurren los errores! Este vacío en la comprensión de las fallas nos hace cuestionar la fiabilidad y la seguridad de las inteligencias artificiales. Al no comprender cómo se originan los errores ni por qué, es difícil prevenirlos y corregirlos.

Otra falla muy importante está relacionada con la generación de citas falsas. Este fenómeno ocurre cuando la IAGen combina información de su gigantesca base de datos de manera que puede resultar en la producción de frases o atribuciones a autores que nunca existieron. O a la inversa: citar a un autor o autora que existió o existe, pero atribuyéndole citas y pensamientos que nos le pertenecen.

La IAGen no tiene la capacidad de determinar la veracidad de los datos; simplemente sigue patrones basados en la probabilidad y la frecuencia con la que ciertas palabras o frases aparecen juntas. Por lo tanto, puede brindar citas que suenan verdaderas, pero que, en realidad, son fabricaciones sin fundamento histórico o literario.

La generación de citas falsas o información incorrecta por parte de las IAGen tiene consecuencias negativas en diversos campos, como la investigación académica, la traducción automática y la generación de contenido en línea. ¡Por eso es tan importante chequear la información que resulta de las interacciones con los chats conversacionales de las IAGen!

A medida que las IAGen se vuelven cada vez más relevantes en nuestra sociedad, es fundamental agudizar nuestra mirada crítica para detectar errores, fallas y sesgos. Auditar estas tecnologías es la manera de demandar seguridad y ética en su diseño y funcionamiento.