AI代理需要系统安全，而不仅仅是模型鲁棒性

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-22 04:00

一篇新论文认为，保护AI代理需要系统层面的方法，将AI模型视为一个不可信的组件。研究人员提议将既定的系统安全原则应用于代理设计，并声称仅关注模型鲁棒性是不够的。该论文分析了十一个现实世界的代理攻击，展示了系统级安全如何能够阻止它们，并概述了剩余的研究挑战。 AI

影响通过整合系统安全原则，提出了一个保护AI代理的新框架，可能影响未来的代理设计并减少漏洞。

排序理由关于AI安全和系统安全的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Mihai Christodorescu, Earlence Fernandes, Ashish Hooda, Somesh Jha, Johann Rehberger, Kamalika Chaudhuri, Xiaohan Fu, Khawaja Shams, Guy Amir, Jihye Choi, Sarthak Choudhary, Nils Palumbo, Andrey Labunets, Nishit V. Pandya · 2026-05-22 04:00

Agent Security is a Systems Problem

arXiv:2605.18991v2 Announce Type: replace-cross Abstract: We take the position that agent security must be approached as a systems problem: the AI model powering the agent must be treated as an untrusted component, and security invariants must be enforced at the system level. Thr…