引入了一个新的基准 DuplexSpeechBench-IFEval (DSB-IFEval),用于评估全双工语音代理根据角色或个性隐式遵循指令的能力,而不是显式命令。该基准包含八个助手角色和五个条件协议的 1,038 个测试用例。结果表明,虽然 F-Actor 和 PersonaPlex 等模型对基于个性的指令敏感,但 GPT-Realtime 和 MiniCPM-o 等模型在个性内容方面表现出色,但在适应地板行为方面却遇到困难。一项关键发现是,即使代理能够可靠地遵循冲突的指令,它们在覆盖指令方面仍然面临挑战。 AI
影响 该基准可以推动语音代理理解和响应细微的对话线索的能力的改进,从而实现更自然、更有效的人机交互。
排序理由 该集群描述了一篇介绍用于评估 AI 系统的新颖基准的学术论文。
在 Hugging Face Daily Papers 阅读 →
- DSB-IFEval
- DuplexSpeechBench-IFEval
- F-Actor
- Fun-Audio-Chat
- gpt-realtime
- Instruction Adherence Score
- MiniCPM-o
- Persona Adherence Score
- PersonaPlex
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →