Seis investigadores de IA exploraron la fiabilidad de modelos de lenguaje complejo como GPT de OpenAI, LLaMA de Meta y BLOOM de BigScience a través de tres elementos principales: la dificultad de la concordancia, el número de veces que los chatbots se negaron a responder y la estabilidad de los modelos. Esencialmente, los científicos formularon miles de preguntas sobre ciencia, geografía, aritmética y lenguaje. Luego categorizaron cada solicitud según su dificultad y cotejaron la información obtenida.

Gracias a las mejoras en el entrenamiento y la calidad de las bases de datos, los LLM fueron más precisos que antes. Sin embargo, no se limitaron ni moderaron ante preguntas complejas de los usuarios, como ocurría al principio. Ante una solicitud complicada, el chatbot responde lo más probable, pero no necesariamente lo correcto. El problema se agrava al considerar que el solicitante de la información también desconoce el tema. “Están respondiendo a casi todo en estos días, y eso significa respuestas más correctas, pero también más incorrectas”, resume José Hernández-Orello, coautor del estudio publicado en Nature.