Los problemas asociados a la fiabilidad de los chatbots de inteligencia artificial, tales como la reproducción de sesgos y la generación de respuestas incorrectas o «alucinaciones», han impulsado a un equipo de investigadores de la Universidad de Oxford a proponer una solución innovadora. En un esfuerzo por abordar estos desafíos, el grupo, conformado por Sebastián Farquhar, Jannik Kossen, Lorenz Kuhn y Yarin Gal, propone una estrategia donde los chatbots son supervisados por otros chatbots.
Este enfoque surge ante la necesidad de evitar que los falsos resultados obstaculicen la inclusión de chatbots en varios sectores. La propuesta no solo reconoce que las ideas pueden ser expresadas de diversas maneras, sino que también equipa a los usuarios con la capacidad de identificar momentos críticos en una conversación donde la precisión de las respuestas puede ser cuestionable.
Para probar la efectividad de su idea, los investigadores sometieron a un chatbot a un conjunto de preguntas de trivia y problemas matemáticos, y luego compararon las respuestas revisadas por humanos y otro chatbot supervisando. El análisis mostró una alta concordancia entre las valoraciones humanas y las del chatbot, con un porcentaje de acuerdo del 93% y 92%, respectivamente. Estos resultados, divulgados en la revista Nature bajo el título «Detección de alucinaciones en grandes modelos de lenguaje mediante entropía semántica», sugieren que esta metodología podría inspirar desarrollo de soluciones más automatizadas y confiables para los chatbots de ia en uso cotidiano.
El proyecto destaca la urgencia de mejorar la fiabilidad en las respuestas generadas por estas herramientas de IA. Empresas como OpenAI y Google han reconocido la necesidad de trabajar en la seguridad y fiabilidad de sus productos de IA, advirtiendo a los usuarios acerca de la posibilidad de errores e inexactitudes.
Este enfoque innovador de Oxford representa un avance prometedor hacia chatbots de IA más precisos y confiables, evidenciando un camino hacia la mejora de estas tecnologías que conectan a los usuarios con información y servicios mediante conversaciones automatizadas.