实体
LeanGuard
LeanGuard
PulseAugur coverage of LeanGuard — every cluster mentioning LeanGuard across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LeanGuard 为 AI 代理强制执行已验证的策略，减少提示注入
研究人员开发了 LeanGuard，一个新颖的运行时系统，旨在为使用工具的 AI 代理强制执行策略。该系统将工具调用与用 Lean4 编写的策略进行验证，防止代理执行被禁止的操作。LeanGuard 不仅阻止未经授权的调用，还为被拒绝的操作提供基于证明的修复，显著降低提示注入的成功率，同时不影响良性任务的性能。在 Qwen 模型上的测试表明，LeanGuard 能有效消除策略违规，并且其反馈机制可以提高任务成功率。
-
新的AI安全护栏挑战推理必要性，提升多模态安全性
两篇新的研究论文探讨了AI安全护栏的有效性和适应性。其中一篇论文LeanGuard质疑复杂推理在内容审核中的必要性，证明一个轻量级的、仅标签的编码器可以匹配基于推理的大模型的准确性，同时速度更快、效率更高。另一篇论文介绍了SingGuard，这是一种为视觉语言模型设计的策略自适应多模态安全护栏，能够动态适应不断变化的AI安全策略，并在新的多模态基准测试中取得最先进的性能。