En el último año, los avances en los chatbots de inteligencia artificial (IA) han sido notables, destacando modelos como ChatGPT, Claude y Gemini por sus habilidades para mantener el contexto en conversaciones largas y procesar entradas de texto grandes. Sin embargo, una limitación significativa ha sido su capacidad para ofrecer respuestas que excedan las 1.000 palabras, lo que dificulta la generación de textos extensos, como historias de miles de palabras.
Investigadores de la Universidad de Tsinghua en Pekín han abordado este desafío y presentaron dos modelos de lenguaje grande (LLM) capaces de generar textos coherentes de más de 10.000 palabras. Utilizando un sistema llamado AgentWrite y modelos basados en el GLM-4 9B y Llama 3.1, han demostrado que es posible superar las limitaciones de longitud de los chatbots actuales. Este avance permitiría en teoría la generación de obras literarias enteras en una sola respuesta.
La metodología empleada se centra en ajustar el entrenamiento de los modelos para manejar textos más largos, aprovechando la capacidad inherentemente presente en los LLM de contexto largo. Los resultados muestran un potencial significativo para aplicaciones futuras que requieran la creación de contenidos extensos automáticamente.
Esta investigación, disponible públicamente, pone de manifiesto la importancia de la colaboración abierta en el desarrollo de tecnologías de IA. Modelos como LongWriter-glm4-9b y LongWriter-llama3.1-8b representan pasos importantes hacia la superación de las barreras existentes en la generación de texto por parte de la IA, ofreciendo nuevas posibilidades para creadores de contenido, escritores y, en general, para la interacción humana con la inteligencia artificial.