实体
spillway
spillway
PulseAugur coverage of spillway — every cluster mentioning spillway across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
SPILLWAY防御系统在AI智能体提示注入方面实现零成功率
一种名为SPILLWAY的新型防御系统已被开发出来,用于保护使用工具的AI智能体免受提示注入攻击。SPILLWAY通过确定性地将工具调用目标与用户请求和只读工具输出进行比对来运行,而不是依赖语言模型做出每一个决定。这种方法显著降低了智能体被欺骗以向攻击者发送数据或金钱的风险,在各种基准测试和智能体骨干网络中实现了零范围内的攻击成功率。
-
新的防御措施应对AI代理的提示注入攻击 · 跟踪6个来源
研究人员正在开发新的方法来防御提示注入攻击,这是对可能操纵其行为的AI代理的重大威胁。几篇论文提出了不同的方法,包括SPILLWAY,它使用确定性规则将目标准入与清理分开;ERASE,它采用基于策略的自蒸馏来移除多模态输入中的恶意内容。其他工作侧重于间接提示注入,通过未经授权的影响而非直接指令覆盖来定义攻击,并开发像SecPO这样的对抗性训练技术来创建更鲁棒的模型。这些努力旨在在不牺牲AI代理效用的前提下提高其安全性。