一个名为InteractionBench的新基准测试已被开发出来,用于跨多个维度评估实时语音系统,包括时序、任务准确性、低语检测和对话连贯性。该基准测试包含13个场景下的221个项目,并用于测试六个全双工系统和一个级联系统。结果表明,虽然时序和任务准确性相关,但级联系统获得了最高的任务分数。值得注意的是,只有Gemini Live展示了低语能力,并且托管系统在对话连贯性探测方面的表现通常优于开放式全双工模型。 AI
影响 提供了一种新的标准化方法来评估实时语音AI系统在关键交互指标上的性能。
排序理由 该集群描述了一篇介绍AI系统评估基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →