AgentHarm
PulseAugur coverage of AgentHarm — every cluster mentioning AgentHarm across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Mistral AI 发布具有 100 万上下文窗口的多模态模型“Le Chonk”
Mistral AI 发布了 Mistral Large 4,也称为“Le Chonk”,这是一款多模态、多语言的专家混合(MoE)模型。该模型接受文本和图像输入并生成文本,拥有约 1 万亿个总参数,其中 490 亿个激活参数,以及 100 万个 token 的上下文窗口。Mistral Large 4 在网络安全、编码代理和多模态方面表现尤为出色,在漏洞复现和修复的网络指数测试中得分很高。
-
新研究探索自改进的AI对齐和泛化预测
两篇新研究论文探讨了改进AI对齐和泛化能力的方法。第一篇论文介绍了“对齐泛化预测”,一项旨在预测针对特定价值观进行模型微调如何影响其在未见过的上下文中的行为的任务。研究发现,使用模型激活进行预测的性能远超文本描述,相关性达到0.45。第二篇论文提出了SIGMA,一个用于自改进对齐泛化的流程。SIGMA利用模型自身的推理来生成和训练对齐困境,在多轮代理环境中,它展示了有害性的降低,并优于现有基线。
-
Qwen 3.8 27B 在 AgentHarm 基准测试中展现出强大的安全护栏
Qwen 3.8 27B 模型在 AgentHarm 基准测试中的有害任务拒绝率为 75%。这一表现表明其安全护栏非常强大,与 Blackfrost 包在同一基准测试中 0% 的拒绝率和 81% 的完成率形成鲜明对比。
-
新的提示注入检测技术利用跨领域方法
研究人员开发了七种新颖的提示注入攻击检测技术,超越了传统的模式匹配和微调Transformer分类器。这些新方法借鉴了法医语言学、生物信息学和欺骗技术等不同领域的灵感。prompt-shield v0.4.1版本整合了其中三种技术,在多个数据集上显著提高了检测率,尤其是在间接注入攻击方面,同时保持了较低的误报率。
-
新框架指导LLM代理修改计划,提高安全性
研究人员开发了TRIAD,一个用于LLM代理的新框架,该框架集成了Guardrail以提高安全性和实用性。与仅仅阻止不安全操作的传统Guardrail不同,TRIAD提供反馈以指导代理修改其计划,使其能够保留良性任务同时避免有害部分。实验表明,TRIAD显著降低了攻击成功率,并提供了比现有方法更好的安全-效用权衡。
-
新框架LiSA通过稀疏的失败数据增强AI护栏
研究人员开发了LiSA(Lifelong Safety Adaptation,终身安全适应)新框架,旨在通过从稀疏且嘈杂的失败数据中学习来改进AI护栏。LiSA使用结构化记忆从个体事件中进行泛化,结合了用于混合标签上下文的冲突感知规则,并采用证据感知置信门控。这种方法在PrivacyLens+和AgentHarm等基准测试中,即使在存在显著标签噪声的情况下,也始终优于现有的基于记忆的方法,为保护AI代理免受不可预测的现实世界风险提供了…