一个名为 GDP.xlsx 的新基准测试已被开发出来,用于评估前沿 AI 模型在处理现实工作场所任务方面的能力。该基准测试包含来自 13 个专业领域的 70 个请求,每个请求都附有专家评分标准以及相关的工作簿或 CSV 文件。在包括 Google、Anthropic 和 OpenAI 的领先模型在内的 20 种模型配置中,表现最佳的 Gemini 4 Argon 的通过率仅为 38.3%,这表明 AI 在处理复杂专业工作簿方面的能力仍有很大的提升空间。 AI
影响 凸显了当前前沿模型在复杂专业任务方面的显著局限性,表明需要改进在电子表格和数据处理方面的代理能力。
排序理由 该集群包含一篇介绍 AI 模型评估新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →