Harmful web-agent behavior

SafeFlow 框架增强多智能体系统安全性，阻止恶意传播

研究人员推出 SafeFlow，一个旨在增强多智能体系统安全性的新框架。该系统解决了恶意意图分散在专业智能体中可能导致数据泄露或不安全操作等意外后果的挑战。SafeFlow 将此问题形式化为语义信息流问题，将结构化“污点”附加到请求上，并在采取不可逆操作之前对其进行验证。评估表明，SafeFlow 在降低各种基准测试中的攻击成功率方面是有效的，包括提示注入和风险代码执行，同时保持了高比例的良性任务完成率。