AuthGateBench

新基准揭示大语言模型在编码代理中的授权缺陷

研究人员推出了 AuthGateBench，这是一个旨在评估大语言模型 (LLM) 在编码代理中作为授权门禁的运行情况的新基准。与之前侧重于恶意请求的基准不同，AuthGateBench 评估的是良性请求以及模型区分授权和未授权操作的能力。该基准包含 1,400 个源自 Claude Code 真实事件的实例，揭示出大语言模型在稳定决策方面常常遇到困难，有时会阻止明确授权的操作。然而，研究发现，整合辅助环境信号可以显著提高这些授权决策的准确性。