CallBench

新的CallBench基准评估电话助手中的双目标协调能力

研究人员推出CallBench，这是一个旨在评估电话助手双目标协调能力的新基准。该基准包含在六种场景下的50,000个多轮对话，包括外卖、配送和工作相关电话，并处理设备所有者与来电者之间目标一致、互补、无关或冲突的情况。CallBench还设有一个预设感知评估协议，用于评估语义理解、上下文利用、响应质量和安全性，并强调当前的对话方法在处理这些复杂交互方面存在困难。