研究人员开发了Puppeteer,这是一种新颖的扩散模型,旨在生成与语音协同、时间连贯、语义对齐并与周围对象相结合的手势。与以往主要关注音频-手势对齐的模型不同,Puppeteer明确纳入了姿态约束和对象几何。该模型在因果潜在空间中运行,允许进行显式的时间控制,并支持手势插值和补全等任务。为了促进评估和开发,创建了一个名为SceneGes的新合成数据集,其中包含具身协同语音手势和相应的3D对象。 AI
影响 这项研究推进了生成式AI在多模态合成方面的能力,有望改善人机交互和虚拟角色动画。
排序理由 该集群描述了一篇关于协同语音手势生成新颖模型的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →