JailbreakBench
PulseAugur coverage of JailbreakBench — every cluster mentioning JailbreakBench across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究通过收缩条件认证AI安全头的鲁棒性
研究人员开发了一种方法，可以形式化地认证语言模型中安全分类器的鲁棒性，特别是基于状态空间模型（SSMs）的模型。他们证明了状态转移矩阵上的一个关键条件，即收缩条件（$ orm{A}_ ext{inf}<1$），对于精确区间边界传播（IBP）认证是必需的。当满足此条件时，可以认证安全头对扰动输入的预测一致性，并且研究人员在有毒评论数据上展示了改进的认证比例。将收缩正则化的S4头应用于越狱检测任务，在AdvBench和HarmBench等…
-
研究人员诱导 LLM 产生“醉酒语言”以暴露安全漏洞
研究人员开发了新颖的方法来诱导大型语言模型（LLM）产生“醉酒语言”，以测试其安全漏洞。通过采用基于角色的提示、因果微调和基于强化学习的后训练，他们观察到五个被评估的 LLM 在越狱和隐私泄露方面的易感性增加。该研究使用了 JailbreakBench 和 ConFaide+ 等基准测试，发现人类醉酒与 LLM 的拟人化之间存在相关性，这表明这些方法可能对 LLM 安全构成重大风险。
-
新研究通过新颖的评估和防御方法解决 LLM 越狱问题 · 跟踪 4 个来源
最近的研究论文探讨了评估和防御大型语言模型（LLM）越狱尝试的新颖方法。一项研究系统地比较了六种自动越狱评估器，发现 JADES 表现最佳，并强调了评估器选择对报告攻击强度的重大影响。另一篇论文引入了一个后验重加权框架，用于理解和减轻上下文多模态越狱，展示了鲁棒性-效用权衡的改进。此外，还提出了一种名为 Bait-and-Recover 的防御机制，用于毒化内部拒绝信号，有效破坏开放权重模型上的白盒编辑越狱。最后，研究调查了不同越狱技…
-
研究发现：大型语言模型安全评判易受内容不变包装器操纵
研究人员发现，大型语言模型的自动安全评判器很容易被操纵，只需改变回应的语气或框架，而不改变其内容。通过添加“内容不变的风格包装器”，例如免责声明或虚假推理块，研究发现包括GPT-4o mini和Llama Guard 4在内的特定评判器，以显著的比例将有害内容错误地归类为安全。这种漏洞存在于评判器本身，而非底层模型，表明当前的安全性评估方法可能并不可靠。
-
新的HASSUM框架通过语义不确定性引导多智能体AI
研究人员开发了一个名为HASSUM的新框架，通过用语义不确定性引导协同决策来改进多智能体AI系统的协调。该方法利用语义熵和密度来评估智能体推理的可靠性，从而实现输出验证和选择性重提示等自适应策略。在StrategyQA和TruthfulQA等基准上的评估表明，与传统的协调方法相比，这种不确定性引导的方法能带来更值得信赖的结果。
-
新的STEER攻击利用多语言环境下的LLM安全漏洞 · 跟踪3个来源
研究人员开发了一种名为STEER（Safety Targeted Embedding Exploit via Refinement，通过精炼实现安全目标嵌入式漏洞利用）的新方法，以利用大型语言模型（LLM）安全训练中的漏洞。该技术针对主要以英语训练的模型，表明其安全机制对低资源语言和混合语言输入的泛化能力不佳。STEER在各种基准测试中实现了很高的攻击成功率，甚至可以迁移到GPT-4o-mini等模型，凸显了当前多语言安全对齐方面的重大差距。
-
研究发现，编码器分类器可提供经济高效的LLM安全评估
一篇新的研究论文探讨了编码器分类器（特别是来自ModernBERT家族的分类器）作为评估大型语言模型输出安全性的LLM基础评估器的经济高效替代方案的有效性。该研究将这些编码器分类器与各种LLM评估器和基于规则的方法在不同的对抗性攻击技术下进行了基准测试。研究结果表明，编码器分类器在识别有害内容方面可以提供可比的性能，同时具有更低的延迟和成本，为LLM安全评估提供了实用指导。
-
新的 CHASE 框架通过对抗性强化学习提升 LLM 安全性
研究人员开发了 CHASE，一个新颖的闭环红蓝对抗框架，旨在增强大型语言模型 (LLM) 的安全性。该系统包含一个共同进化的黑盒攻击者和一个安全对齐的防御者，并为两个组件都使用了强化学习。CHASE 在保持对良性提示零误拒绝率的同时，显著减少了成功的对抗性重写，表明这是一种更通用的 LLM 安全加固方法。
-
同人小说子类型用于越狱对齐的LLM
研究人员开发了一种新颖的越狱技术，用于对齐大型语言模型，该技术利用了同人小说子类型。该方法使用来自十二个不同Archive of Our Own (AO3) 子类型的段落来嵌入有害行为，绕过传统防御。该攻击将八个LLM的攻击成功率（ASR）从0.278显著提高到0.731，表明其有效性源于写作风格而非提示结构。提出的防御措施被发现无效，这表明需要转向基于语域的攻击。
-
新的BAIT框架利用LLM推理进行越狱
研究人员开发了一个名为BAIT（Boundary-Aware Iterative Trap，边界感知迭代陷阱）的新三步框架，旨在升级大型语言模型恶意内容的披露。该方法引导模型识别、完善和详细说明其保护边界，有效地利用其自身的推理过程绕过安全过滤器。跨多个基准的实验表明，BAIT在顶级LLM上实现了很高的攻击成功率，优于现有的越狱技术。
-
新的防御措施通过语义分析和自我反思来应对LLM对抗性提示
两篇新的研究论文提出了防御大型语言模型（LLM）对抗性提示的先进方法。第一种方法，对抗性提示解耦（APD），使用语义分解和基于图的分析来识别和中和提示中的恶意组件，将有害输出减少了85%以上。第二种方法，Reflect-Guard，通过引入思维链自我反思来增强LLM安全分类器，显著提高了其检测伪装恶意意图的能力，并在参数更新极少的情况下将攻击成功率降低了82%以上。
-
新的LASH框架通过结合攻击方法来增强LLM越狱能力
研究人员开发了LASH，一个旨在增强大型语言模型越狱能力的新型框架。LASH自适应地组合了来自多种现有攻击方法的输出，并将它们视为种子提示。这种方法利用了不同攻击家族的互补优势，以提高针对各种模型和危害类别的成功率。在JailbreakBench数据集上的评估中，LASH与最先进的基线方法相比，以显著更少的查询实现了高攻击成功率。