研究人员开发了Gaspard,一种用于生成语音和同步语音手势的新型统一模型。与之前的级联系统不同,Gaspard将语音和手势生成整合到一个自回归流匹配框架中。该方法在Seamless Interaction数据集上进行训练,通过为每种模态解耦无分类器引导,实现了更好的同步性和表现力。评估表明,Gaspard在手势生成方面优于单一模态基线,并且比级联系统生成更同步的语音和手势。 AI
影响 这种统一的语音和手势合成方法有望带来更自然、更富有表现力的AI驱动的通信工具。
排序理由 该集群包含一篇详细介绍多模态生成新模型的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →