Seong Jong Yoo

AI模型STREAM可根据文本和音乐生成可编辑的舞蹈动作

研究人员开发了STREAM，一个新的人工智能模型，旨在根据文本和音乐生成可编辑的舞蹈动作。与之前存在模式崩溃问题的模型不同，STREAM使用解耦的扩散Transformer来保持用户对编舞的控制，同时使动作与音乐节奏保持一致。该模型采用了基于文本结构的自适应层归一化和新颖的双模态基于能量的注意力模块来实现音乐集成。为了评估其性能，团队引入了交换评估协议和可编辑舞蹈分数，证明了STREAM作为编舞者协作伙伴的能力。