ChatGPT ha emergido como una herramienta alternativa para los programadores, permitiéndoles agilizar su trabajo sin depender exclusivamente de búsquedas en Google o consultas en Stack Overflow. Sin embargo, a pesar de su utilidad, confiar ciegamente en ChatGPT podría no ser la decisión más sabia. Según investigadores de la Universidad de Purdue, más del 50% de las respuestas generadas por ChatGPT contienen errores, lo que revela una tasa significativa de inexactitud en la información proporcionada por este chatbot de inteligencia artificial. A través de un estudio que incluyó 517 preguntas de programación extraídas de Stack Overflow, los investigadores encontraron que aunque las respuestas de ChatGPT tienden a ser más detalladas que las humanas, esto no garantiza su precisión. Además, un 78% de las respuestas evaluadas presentaron diversos grados de inconsistencia.
El estudio se basó en la versión GPT-3.5 de ChatGPT, seleccionada por ser la más utilizada en su momento, aunque también se realizaron pruebas con GPT-4, su sucesor inmediato. Los resultados indicaron que, aunque GPT-4 mostró un rendimiento ligeramente mejor, ambos modelos compartían una alta tasa de respuestas inexactas. Esta situación subraya los desafíos y limitaciones actuales de los modelos de lenguaje de IA en la generación de respuestas precisas y fiables, especialmente en campos técnicos como la programación.
La confianza en ChatGPT y en otras herramientas impulsadas por IA, como GitHub Copilot, refleja un cambio en la forma de trabajar de los programadores, ofreciendo nuevas posibilidades y también revelando deficiencias que deben ser abordadas. Mientras la IA continúa transformando el ámbito laboral, es crucial recordar la importancia de la verificación humana para garantizar la exactitud y fiabilidad de la información generada por estos sistemas. El estudio y las preocupaciones subrayan la complejidad de equilibrar la innovación en IA con la necesidad de mantener estándares de calidad y precisión en el ámbito de la programación.