EuroExec

前沿大型语言模型未能达到欧洲高管任务的专家判断水平

一项名为 EuroExec 的新基准测试显示，即使是前沿语言模型，在复杂的欧洲高管决策任务上也难以匹敌人类专家的判断。该基准测试包含由 47 位领域专家撰写的 413 项任务，结果发现最强的模型只能解决其中 56.9% 的现实世界问题。在直接排名中，人类编写的参考答案被模型响应的偏好率为 74%，这表明当前人工智能能力与此类任务的专业标准之间存在显著差距。