Chat Vip

La estadística de los errores

Webmaster2024-10-21T19:57:14-03:00

Seis investigadores de IA exploraron la fiabilidad de modelos de lenguaje complejo como GPT de OpenAI, LLaMA de Meta y BLOOM de BigScience a través de tres elementos principales: la dificultad de la concordancia, el número de veces que los chatbots se negaron a responder y la estabilidad de los modelos. Esencialmente, los científicos formularon miles de preguntas sobre ciencia, geografía, aritmética y lenguaje. Luego categorizaron cada solicitud según su dificultad y cotejaron la información obtenida.

Gracias a las mejoras en el entrenamiento y la calidad de las bases de datos, los LLM fueron más precisos que antes. Sin embargo, no se limitaron ni moderaron ante preguntas complejas de los usuarios, como ocurría al principio. Ante una solicitud complicada, el chatbot responde lo más probable, pero no necesariamente lo correcto. El problema se agrava al considerar que el solicitante de la información también desconoce el tema. “Están respondiendo a casi todo en estos días, y eso significa respuestas más correctas, pero también más incorrectas”, resume José Hernández-Orello, coautor del estudio publicado en Nature.

El estudio también encontró que las personas no pueden distinguir entre una respuesta precisa y una inexacta. Un usuario convencional de chatbots no es capaz de supervisar la fiabilidad de los modelos que usa, recalca el autor. Además, determinó que las alucinaciones ocurrían incluso en preguntas sencillas. No es posible determinar una “región operativa segura” en la que la información se presente sin riesgos.

372

Share this post

Facebook Twitter LinkedIn Google + Email

Related Posts

El Ministerio de Educación del Gobierno de la Ciudad de Buenos Aires presentó tres materiales clave para acompañar la incorporación ética, crítica y pedagógica de la Inteligencia Artificial en las escuelas

La inteligencia artificial está transformando la forma en que vivimos, trabajamos y aprendemos. En este contexto seguimos avanzando con una... read more

Chats de texto sin límites en su versión gratuita de Chat Gpt

OpenAI anunció que ChatGPT eliminará los límites de las conversaciones de texto para los usuarios de la versión gratuita con... read more

Un equilibrio necesario para la Inteligencia Artificial

Hay qye adoptar un enfoque ético y multidisciplinario para mitigar los riesgos de la Inteligencia Artificial mientras se aprovechan sus... read more

¿Cómo funciona Fairwind Program?

Google desplegará Gemini 4 Argon de manera escalonada a través de su programa Fairwind. Esta iniciativa brindará a los participantes... read more

Inteligencia Artificial General

También conocida como Fuerte o de Nivel Humano, esta categoría se refiere a máquinas que pueden realizar cualquier actividad intelectual... read more

La creatividad y el avance de la Inteligencia Artificial

La inteligencia artificial se ha integrado de manera progresiva en diversos ámbitos, y la aparición de herramientas como ChatGPT aceleró... read more

Chat Vip