新的CallBench基准评估电话助手中的双目标协调能力

研究人员推出CallBench，这是一个旨在评估电话助手双目标协调能力的新基准。该基准包含在六种场景下的50,000个多轮对话，包括外卖、配送和工作相关电话，并处理设备所有者与来电者之间目标一致、互补、无关或冲突的情况。CallBench还设有一个预设感知评估协议，用于评估语义理解、上下文利用、响应质量和安全性，并强调当前的对话方法在处理这些复杂交互方面存在困难。 AI

影响 该基准有望推动对话式AI的改进，使电话助手能够更好地处理复杂的多目标交互。

排序理由 该项目是一篇介绍新AI系统基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXivLabs
• CallBench
• CatalyzeX Code Finder for Papers
• Connected Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• Influence Flower
• Litmaps
• ScienceCast
• scite Smart Citations
• Standard Chinese
• taxi

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →