研究人员开发了GLARE,一个用于在双向对话中生成逼真倾听者反应的新系统。现有方法在自然倾听者行为方面存在困难,缺乏恰当的反应标注和评估指标。GLARE通过引入一个包含147小时以上配对说话者-倾听者视频和跨六个类别的64,557个反应标注的新数据集来解决这个问题。该系统利用一个以Qwen2-Audio韵律和时间反应损失为条件的流匹配Transformer。一种新颖的评估协议测量反应发生、时间对齐和视觉质量,证明了GLARE在视觉保真度和行为逼真度方面均优于先前的方法。 AI
影响 这项研究可能带来更自然、更具吸引力的AI驱动的对话代理和虚拟助手。
排序理由 该集群包含一篇研究论文,详细介绍了一个用于在对话中生成逼真倾听者反应的新系统和数据集。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- Qwen2-Audio
- RealTalk
- ScienceCast
- Seamless interaction in space
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →