PulseAugur
中
实时 11:40:43
English(EN) SingDance: Compositional Zero-Shot Singing-and-Dancing Video Generation with Role-Aware Audio Conditioning

AI模型FlowDance和SingDance生成逼真的音乐驱动歌舞视频

作者 PulseAugur 编辑部 · [2 个来源] ·

两篇新的研究论文FlowDance和SingDance，介绍了用于生成逼真歌舞视频的先进AI框架。FlowDance通过使用并行姿态和RGB流来创建与音乐同步的舞蹈视频，并为此任务构建了一个新数据集。SingDance则解决了更复杂的挑战，即生成一个人同时唱歌和跳舞的视频，它采用了一种新颖的方法，通过对音频、音乐和表演者（歌手或听众）的角色进行条件约束，来实现组合式零样本生成。 AI

影响 这些模型在为音乐视频和虚拟表演等创意应用生成同步逼真的人类运动方面，提升了AI的能力。

排序理由 两篇在arXiv上发表的学术论文，详细介绍了用于视频生成的新AI模型。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

AI模型FlowDance和SingDance生成逼真的音乐驱动歌舞视频

报道来源 [2]

  1. arXiv cs.CV TIER_1 English(EN) · Genying Li, Boda Lin, Jiachen Li, Zijian Jia, Haojie Zheng, Yiming Wang, Shuchen Weng, Si Li ·

    FlowDance：音乐驱动的舞蹈视频生成，具有并行姿态和RGB流

    arXiv:2608.15818v1 Announce Type: new Abstract: Music-driven dance video synthesis aims to animate a reference person according to a given music clip. The task is challenging because it requires a model to jointly learn music-to-motion correspondence, identity-preserving human an…

  2. arXiv cs.CV TIER_1 English(EN) · Tao Feng, Xu Li, Xiangyang Luo, Ming Wen, Huadai Liu, Chen Zhang, Wei Xue ·

    SingDance：具有角色感知音频条件的组合式零样本歌舞视频生成

    arXiv:2608.16220v1 Announce Type: cross Abstract: Generating personalized dance videos from a reference image, text prompt, and audio track requires music-conditioned body motion. Singing-and-dancing adds a second requirement: the visible subject must also articulate the vocals. …

相关实体

相关话题