一个名为IHBench的新基准已被开发出来，用于评估语音代理在结构化工作流中从用户打断中恢复的性能。该基准评估了在十个企业领域和六种打断类型中的任务完成度和恢复质量。对27种音频-语言模型配置的评估显示，封闭权重模型（如OpenAI和Google的模型）在处理打断方面通常优于开放权重模型，在较长对话中退化速度较慢，并且没有显示出模态差距。 AI
影响 该基准有望推动企业环境中语音代理的鲁棒性和可用性改进。
排序理由 该集群描述了一个用于评估AI能力的新学术基准。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
