研究人员开发了一种新颖的合成语音对话流程，以解决语音代理中的延迟挑战。该流程生成带有标注的对话，指示识别工具及其参数的最早时间点，使代理能够在倾听时即可采取行动，而不是等待整个回合完成。该系统构建了一个包含 26,694 个对话、跨越 48 个领域、总计 786 小时的语料库，并包含用于评估的 $\tau^2$-bench 的音频渲染。在该数据上训练的全模态语言模型在工具状态宏 F1 分数上达到了 0.48 和 0.47，与传统的回合结束级联方法相比，显示出显著的领先时间。 AI
影响 使语音代理能够通过处理部分转录内容来更快地响应，从而改善实时应用中的用户体验。
排序理由 学术论文，详细介绍了一种用于语音对话系统的新方法和数据集。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- $au^2$-bench
- Heard Enough to Act: Early Tool Calling in Spoken Dialogue Systems
- Hugging Face
- omni-modal language model
- spoken agents
- Spoken Dialogue Systems
- tool calling
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
