一项新的研究论文介绍了一个评估框架，用于测试大语言模型（LLM）代理使用标准办公软件（如Word、Excel和PowerPoint）的熟练程度。研究发现，即使是先进的大语言模型在复杂的文档自动化任务方面也面临困难，单轮模型得分低于37%，而更复杂的代理系统在100分制的考试中得分仅达到68.8%。这凸显了当前大语言模型在精细办公自动化能力方面存在的显著差距。 AI
影响 凸显了大语言模型代理在实际办公自动化任务中的显著局限性，表明需要进一步发展其代理能力和推理能力。
排序理由 该集群包含一篇详细介绍新基准和现有模型评估的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.10956v1 Announce Type: new Abstract: The deployment of Large Language Model (LLM) agents for computer automation is accelerating, yet their ability to navigate complex, professional-grade productivity software is largely untested. We argue that Office automation is an …
The deployment of Large Language Model (LLM) agents for computer automation is accelerating, yet their ability to navigate complex, professional-grade productivity software is largely untested. We argue that Office automation is an ideal environment for benchmarking document-auto…