xDailyBench

新的基准测试 xDailyBench 测试大型语言模型在现实世界专业咨询任务中的表现

研究人员推出 xDailyBench，这是一个旨在评估大型语言模型 (LLM) 在处理现实生活、专业咨询任务方面的能力的新基准测试。该基准测试包含 51 个场景中的 248 个任务，侧重于用户实际提出的请求，这些请求通常涉及从上下文中推断未明确说明的需求。对 11 个前沿模型的评估显示，尽管最佳模型的任务级别得分达到了 75.6%，但所有模型在处理隐含需求方面比处理明确需求时都困难得多，这凸显了这是需要改进的关键领域。