English(EN) AuthGateBench: Benchmarking LLMs as Authorization Gate

新基准揭示大语言模型在编码代理中的授权缺陷

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-15 04:00

研究人员推出了 AuthGateBench，这是一个旨在评估大语言模型 (LLM) 在编码代理中作为授权门禁的运行情况的新基准。与之前侧重于恶意请求的基准不同，AuthGateBench 评估的是良性请求以及模型区分授权和未授权操作的能力。该基准包含 1,400 个源自 Claude Code 真实事件的实例，揭示出大语言模型在稳定决策方面常常遇到困难，有时会阻止明确授权的操作。然而，研究发现，整合辅助环境信号可以显著提高这些授权决策的准确性。 AI

影响凸显了 LLM 驱动的编码代理授权系统中潜在的安全和可靠性问题。

排序理由该集群包含一篇介绍新评估基准的研究论文。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 18 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇介绍新评估基准的研究论文。 [lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, safety; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Zhixiong Zhuang, Jin Jia, Zhiwei Shang, Ziyu Wang · 2026-10-15 04:00

AuthGateBench：将大型语言模型作为授权网关进行基准测试

arXiv:2610.16426v1 Announce Type: new Abstract: Automated approval systems let coding agents execute high-risk actions with minimal human oversight by delegating the authorization decision to a classifier, typically a large language model (LLM). Such systems, adopted in tools lik…

本文如何被排名

报道来源 [1]

AuthGateBench：将大型语言模型作为授权网关进行基准测试

相关实体

相关话题