Seamless interaction in space
PulseAugur coverage of Seamless interaction in space — every cluster mentioning Seamless interaction in space across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Gaspard模型统一语音和手势生成
研究人员开发了Gaspard,一种用于生成语音和同步语音手势的新型统一模型。与之前的级联系统不同,Gaspard将语音和手势生成整合到一个自回归流匹配框架中。该方法在Seamless Interaction数据集上进行训练,通过为每种模态解耦无分类器引导,实现了更好的同步性和表现力。评估表明,Gaspard在手势生成方面优于单一模态基线,并且比级联系统生成更同步的语音和手势。
-
语音模型在自然对话流畅度和记忆力方面接受评估
一篇新的arXiv论文评估了语音模型的对话能力,重点关注它们在对话停顿时的决策。研究发现,像GPT Realtime和Gemini 3.1 Flash Live这样的托管API倾向于在几乎每个停顿处说话,延迟是决定其响应是否落在人类对话时序内的主要因素。PersonaPlex和Moshi等全双工模型表现出更大的沉默能力和适当打断的能力,更接近地模仿人类对话流程。在测试对话中的事实回忆时,托管模型在文本输入时比音频输入表现更好,并且Cl…
-
GLARE系统在对话中生成逼真的倾听者反应
研究人员开发了GLARE,一个用于在双向对话中生成逼真倾听者反应的新系统。现有方法在自然倾听者行为方面存在困难,缺乏恰当的反应标注和评估指标。GLARE通过引入一个包含147小时以上配对说话者-倾听者视频和跨六个类别的64,557个反应标注的新数据集来解决这个问题。该系统利用一个以Qwen2-Audio韵律和时间反应损失为条件的流匹配Transformer。一种新颖的评估协议测量反应发生、时间对齐和视觉质量,证明了GLARE在视觉保真…
-
新的AV-STE系统通过视听语音令牌恢复增强对话模型
研究人员开发了AV-STE,一个新颖的模块化前端系统,旨在增强用于语音对话模型的视听语音令牌处理。该系统旨在通过在主要语言模型处理之前从嘈杂的音频和唇部视频中恢复损坏的语音令牌,来提高全双工对话系统的鲁棒性。通过保持下游对话模型冻结,AV-STE在保留其现有会话能力的同时,显著提高了响应连贯性,尤其是在有重叠语音的嘈杂环境中。