斯坦福大学的研究人员开发了一种生成式AI模型,可以编排人类舞蹈动画以匹配任何音乐片段。它被称为EditableDanceGEneration(EDGE)。

人工智能驱动的舞蹈动画师将生成人工智能应用于编舞

“EDGE表明,支持AI的角色可以为舞蹈动画带来一定程度的音乐性和艺术性,这在以前是不可能的,”计算机科学教授KarenLiu说,她领导的团队包括两名学生合作者JonathanTseng和RodrigoCastellon,在她的实验室里。

研究人员认为,该工具将帮助编舞者设计序列,并通过可视化3D舞蹈序列将他们的想法传达给现场舞者。该程序高级功能的关键是可编辑性。Liu想象EDGE可以让动画师直观地编辑舞蹈动作的任何部分,从而创建计算机动画舞蹈序列。

例如,动画师可以设计角色的特定腿部动作,EDGE将以逼真、无缝且物理上合理的方式从该位置“自动完成”整个身体——人类可以完成这些动作。最重要的是,这些动作与动画师对音乐的选择是一致的。

与其他图像和文本生成模型(例如ChatGPT和DALL-E)一样,EDGE代表了编舞创意生成和运动规划的新工具。可编辑性意味着舞蹈艺术家和编舞者可以逐个动作、逐个位置地迭代地完善他们的序列,在精确的时刻添加特定的姿势。然后,EDGE会自动将附加细节合并到序列中。在不久的将来,EDGE将允许用户输入自己的音乐,甚至可以在镜头前亲自演示动作。

“我们认为这对每个人来说都是一种非常有趣和引人入胜的方式,而不仅仅是舞者,他们可以通过动作来表达自己并发挥自己的创造力,”刘说。

“EDGE能够根据任何音乐产生迷人的舞蹈,我们认为EDGE代表了技术与运动交叉领域的一个重要里程碑,”Tseng补充道。“它将为创造性表达和身体接触开启新的可能性,”卡斯特隆说。

该团队已发表论文,并将于6月在不列颠哥伦比亚省温哥华举行的计算机视觉和模式识别会议上正式介绍EDGE。还有一个名为“EDGEPlayground”的网站,任何有兴趣的人都可以在这里挑选曲子并观看EDGE从头开始​​创建新的舞蹈序列。