Alibaba tiene nueva IA Open Source para generar vídeos. El problema es que se está usando para generar deepfakes pornográficos

La semana pasada, Alibaba lanzó WanX 2.1, un avanzado modelo de inteligencia artificial dedicado a la generación de vídeos, entrando en competencia directa con otros modelos similares como Sora de OpenAI y Veo 2 de Google. Poco después de su lanzamiento, WanX 2.1 se vio envuelto en controversia al ser utilizado para la creación y publicación en línea de docenas de vídeos pornográficos.

WanX 2.1 es un proyecto de código abierto, lo que significa que su código fuente está libremente disponible en plataformas como GitHub. Este acceso público permitió a usuarios con ciertos conocimientos técnicos utilizar el modelo para generar contenido pornográfico. Reportes de medios como 404 Media indican que comunidades en línea dedicadas a los deepfakes pornográficos expresaron gran interés en este modelo debido a su capacidad.

Algunos de los vídeos producidos con WanX 2.1 fueron compartidos en Civitai, una plataforma en línea donde los usuarios pueden compartir y comprar imágenes y vídeos generados con IA. Aunque Civitai prohíbe el contenido pornográfico generado sin consentimiento, estos incidentes señalan la facilidad con que los modelos de IA pueden ser explotados para propósitos indebidos, destacando la problemática ética y legal de su uso en la creación de pornografía deepfake.

Estos eventos subrayan los retos que enfrenta la regulación y control de contenidos generados por IA, especialmente cuando pueden generar beneficios económicos significativos. Surgen también preocupaciones sobre la responsabilidad de los creadores de modelos de IA y las plataformas que permiten compartir estos contenidos. En el ámbito legal, países como Corea del Sur han comenzado a implementar legislaciones severas para combatir el porno deepfake, evidenciando un intento por parte de las autoridades de controlar la difusión de este tipo de contenido generado mediante inteligencia artificial.