一项名为 EuroExec 的新基准测试显示，即使是前沿语言模型，在复杂的欧洲高管决策任务上也难以匹敌人类专家的判断。该基准测试包含由 47 位领域专家撰写的 413 项任务，结果发现最强的模型只能解决其中 56.9% 的现实世界问题。在直接排名中，人类编写的参考答案被模型响应的偏好率为 74%，这表明当前人工智能能力与此类任务的专业标准之间存在显著差距。 AI
影响 凸显了当前前沿大型语言模型在复杂、现实世界决策任务中的局限性，表明需要改进评估方法和模型能力。
排序理由 该集群包含一篇介绍新基准和评估结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
