English(EN) Your agent benchmark's "user" is a second model, and 24.4% of its successful runs broke the user's own script

AI代理基准测试存在缺陷：模拟用户在 24% 的成功案例中违反规则

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-15 00:15

一个名为 UserProxyBench 的新基准测试，由 Ashish Jain 和 Armaan Sandhu 开发，揭示了当前代理评估方法的一个重大缺陷。该基准测试发现，在近四分之一的成功运行中，模拟用户（通常是另一个语言模型）违反了自己的指示。这些违规行为，特别是过早泄露信息，使得代理的任务更容易完成，而未能反映其真实能力，从而导致成功分数虚高。研究强调，用户代理的选择会极大地改变基准测试结果，不同模型的用户保真度得分（User Fidelity Scores）在 0.599 到 0.864 之间。 AI

影响突出了 AI 代理评估中的关键缺陷，表明当前基准测试可能高估了代理的能力。

排序理由该项目描述了一个新的基准测试及其关于 AI 代理评估方法学的发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 20 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该项目描述了一个新的基准测试及其关于 AI 代理评估方法学的发现。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: product, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Cole Halton · 2026-10-15 00:15

您的代理基准测试的“用户”是第二个模型，其成功运行的 24.4% 破坏了用户自己的脚本

<p>There's a user proxy in one of these benchmarks that opens the conversation with "I'm John Smith, by the way. My number is 555-123-2002." The task existed to test whether the agent asks for identifying info before touching the account. The proxy volunteered it on turn one, una…

本文如何被排名

报道来源 [1]

您的代理基准测试的“用户”是第二个模型，其成功运行的 24.4% 破坏了用户自己的脚本

相关实体

相关话题