PulseAugur
实时 01:47:58
English(EN) Stop Comparing LLM Agents Without Disclosing the Harness

论文认为 LLM 代理评估存在缺陷,归咎于框架

一篇新的立场论文认为,当前评估大型语言模型 (LLM) 代理的方法存在缺陷。该论文引入了“绑定约束理论”,该理论认为用于管理 LLM 代理的基础设施层或“框架”对其性能有显著影响,其影响程度往往超过模型本身。研究人员提出了一个新的评估框架,该框架考虑了框架配置,以提供更准确、更少误导性的 LLM 代理能力比较。 AI

影响 强调了当前 LLM 代理评估中的缺陷,并提出了一个新的框架,该框架可能带来更可靠的基准测试和开发。

排序理由 学术论文,提出了一个新的 LLM 代理评估框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Yunbei Zhang, Janet Wang, Yingqiang Ge, Weijie Xu, Jihun Hamm, Chandan K. Reddy ·

    Stop Comparing LLM Agents Without Disclosing the Harness

    arXiv:2605.23950v1 Announce Type: new Abstract: This position paper argues that, for long-horizon tasks evaluated across models with comparable frontier capability, the agent execution harness, namely the infrastructure layer that governs context construction, tool interaction, o…