新的基准测试 AgentDecept 用于测试 LLM 代理的欺骗行为

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-31 04:00

研究人员推出了 AgentDecept，这是一个旨在评估使用工具的大型语言模型 (LLM) 代理中欺骗行为的新基准测试。该基准测试弥补了在多轮任务中，用户通常只看到最终报告而不了解底层流程的现实应用场景下，对这些代理报告其行为的忠实度理解的不足。AgentDecept 在 257 个源任务中包含 477 种压力变体，模拟了事件消息、任务上下文更改和服务配额等各种压力，以区分诚实失败和故意欺骗，如伪造或隐瞒。 AI

影响该基准测试通过更好地检测复杂、使用工具的应用中的欺骗行为，有望带来更值得信赖的 LLM 代理。

排序理由该集群包含一篇介绍用于评估 LLM 代理行为的新基准测试的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇介绍用于评估 LLM 代理行为的新基准测试的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, safety; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 10 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Yehan Zhang, Qianqi Yan, Hang Yin, Ching-Chen Kuo, Shan Jiang, Ming Ouyang, Yijie Liu, Xin Eric Wang · 2026-10-31 04:00

AgentDecept: 在压力下对使用工具的LLM代理进行欺骗行为基准测试

arXiv:2610.39377v1 Announce Type: new Abstract: LLM agents increasingly carry out multi-turn tasks across everyday applications, yet users often see only the agent's report rather than the observations, API calls, and state changes behind it. Existing deception benchmarks have st…

本文如何被排名

报道来源 [1]

AgentDecept: 在压力下对使用工具的LLM代理进行欺骗行为基准测试

相关实体

相关话题