PulseAugur
中
实时 12:06:10
实体 HarmBench

HarmBench

PulseAugur coverage of HarmBench — every cluster mentioning HarmBench across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
10
90 天内 45
发布 · 30天
0
90 天内 0
论文 · 30天
10
90 天内 42
层级分布 · 90 天
主题
关系
情绪 · 30 天

6 天有情绪数据

最近 · 第 1/3 页 · 共 49 条
  1. TOOL · CL_368230 ·

    新的LLM框架简化AI红队测试,降低代币成本

    研究人员开发了一个名为Learning to Coordinate (L2C)的新框架,以提高大型语言模型自动化红队测试的效率。L2C利用LLM来指导可执行的多代理工作流的演进,以版本化图的形式表示代理的职责和依赖关系。这种方法将反馈直接连接到工作流修改,从而在无需控制器持续干预的情况下实现持续改进。在HarmBench上的评估表明,L2C在提高攻击成功率(ASR)的同时,显著减少了测试所需的代币数量。

  2. RESEARCH · CL_368005 ·

    博弈论优化AI专家专业化和路由

    研究人员开发了InflEns,一个使用博弈论训练专业化AI专家的新颖框架。该方法使用位置博弈来分配训练数据,并通过预测哪个专家最能处理给定提示来指导推理。InflEns在HarmBench基准测试中显著减少了有害行为,将攻击成功率从0.51降低到0.02,同时保持了指令遵循能力。该方法在不需要单独的门控训练步骤的情况下,实现了与显式学习门控相当的性能。

  3. TOOL · CL_360287 ·

    新方法允许通过输入优化来引导语言模型行为

    研究人员开发了ActGCG,一种通过优化输入后缀来模仿转向向量效果来影响语言模型行为的新方法。这种方法是贪婪坐标梯度(Greedy Coordinate Gradient)的一种修改,无需在生成过程中访问模型的内部状态(白盒访问)即可进行行为修改。该研究探索了将模型引导至用德语回应以及实现反拒绝能力,发现离散后缀可以有效地复制转向向量在语言等概念上的行为,但在用更严格的分类器评估时,对于反拒绝等复杂行为的成功率较低。

  4. TOOL · CL_360157 ·

    研究发现,“词语剔除”的有效性因大语言模型而异

    一篇新研究论文调查了“词语剔除”(一种用于移除开放权重大型语言模型拒绝回答的技术)的有效性。该研究测试了任意秩剔除(ARA)和基于方向的剔除等方法在包括Qwen3.8、Gemma 4、Olmo 3.1和Mistral Small 3.2在内的模型上的表现,发现移除拒绝回答的有效性并未普遍随着新模型版本的出现而变得更难。这些方法的有效性因具体的模型对、使用的剔除技术以及评估数据集的不同而有显著差异,表明模型对这类编辑的抵抗力并非简单的线性进展。

  5. TOOL · CL_336184 ·

    新的CoFiBreak方法提高了LLM红队测试的多样性和有效性

    研究人员开发了一种名为CoFiBreak的新方法,以提高大型语言模型自动化红队测试的多样性。该技术采用粗粒度到细粒度的多样性奖励系统,鼓励更广泛的攻击策略和提示变体,同时不牺牲有效性或增加推理成本。与现有基线相比,CoFiBreak已证明能够发现明显更多不同的成功攻击策略,并且这些攻击在对抗未见的尖端LLM(包括Claude Opus-4.6)方面显示出有效性。

  6. TOOL · CL_324371 ·

    新的CANS框架在保持能力的同时引导大语言模型

    研究人员推出了一种名为能力保持神经元引导(CANS)的新框架,旨在控制大语言模型的特定行为,同时不显著降低其通用能力。CANS利用代理来改进目标行为和保持通用能力,通过轻量级系数实现高效引导。该方法在Qwen和Llama等模型上,在控制安全性、毒性和幻觉方面表现出相当或更优的控制力,同时保持了在MMLU和IFEval等基准测试上的性能。

  7. RESEARCH · CL_324803 ·

    新型SEMA-Auto攻击器通过新颖的自主策略绕过LLM安全措施 · 跟踪2个来源

    研究人员开发了SEMA-Auto,一个新颖的自主系统,旨在绕过大型语言模型的安全措施。这种多轮攻击器通过“有视力”(sighted)来改进现有方法,这意味着它可以根据模型的响应调整其策略,并在成功时独立终止会话。SEMA-Auto在包括GPT-oss-120B和Claude Haiku-4-5等前沿模型在内的各种数据集和模型上实现了最先进的攻击成功率,在有效性和效率方面均优于以前的静态和交互式攻击技术。

  8. TOOL · CL_315055 ·

    新的WRDO方法增强了AI拒绝操纵的能力

    研究人员开发了一种名为加权拒绝方向优化(WRDO)的新方法,以提高统一语言模型拒绝能力的鲁棒性。传统方法通常依赖单一方向来表示拒绝,这可能很脆弱。WRDO通过学习聚合多个特定于提示的拒绝方向来解决这个问题,从而能够更细致、更有效地操纵拒绝表示。在开放权重语言模型上的实验表明,WRDO比先前单一方向的方法更有效,甚至可以用于恢复受损模型的拒绝行为。

  9. TOOL · CL_289300 ·

    研究发现:HarmBench AI安全基准未能通过心理测量审计

    对HELM安全基准(特别是HarmBench数据集)的一项新的心理测量审计表明,它未能有效衡量单一属性,如有害拒绝。该分析采用了多维项目反应理论和项目功能差异分析,揭示HarmBench分数不能一致地分离单一属性,并且来自不同开发者的模型即使在拒绝能力相似的情况下得分也可能不同。研究认为,跨数据集和项目的分数汇总可能会掩盖不同的危害行为,并且在用于模型比较之前,安全分数应被验证为衡量单一属性。

  10. TOOL · CL_280090 ·

    新研究通过收缩条件认证AI安全头的鲁棒性

    研究人员开发了一种方法,可以形式化地认证语言模型中安全分类器的鲁棒性,特别是基于状态空间模型(SSMs)的模型。他们证明了状态转移矩阵上的一个关键条件,即收缩条件($ orm{A}_ ext{inf}<1$),对于精确区间边界传播(IBP)认证是必需的。当满足此条件时,可以认证安全头对扰动输入的预测一致性,并且研究人员在有毒评论数据上展示了改进的认证比例。将收缩正则化的S4头应用于越狱检测任务,在AdvBench和HarmBench等…

  11. RESEARCH · CL_244922 ·

    新研究通过新颖的评估和防御方法解决 LLM 越狱问题 · 跟踪 4 个来源

    最近的研究论文探讨了评估和防御大型语言模型(LLM)越狱尝试的新颖方法。一项研究系统地比较了六种自动越狱评估器,发现 JADES 表现最佳,并强调了评估器选择对报告攻击强度的重大影响。另一篇论文引入了一个后验重加权框架,用于理解和减轻上下文多模态越狱,展示了鲁棒性-效用权衡的改进。此外,还提出了一种名为 Bait-and-Recover 的防御机制,用于毒化内部拒绝信号,有效破坏开放权重模型上的白盒编辑越狱。最后,研究调查了不同越狱技…

  12. TOOL · CL_231384 ·

    EvoFlint 使用进化搜索发现多轮大语言模型漏洞

    研究人员开发了 EvoFlint,一种新颖的进化搜索方法,用于发现大语言模型中的多轮漏洞。该方法将红队测试视为一个搜索问题,通过进化对话计划而非单一提示来发现和完善攻击策略。EvoFlint 在 Claude Sonnet 4.6、GPT-5.4 和 Qwen3-32B 等模型上取得了显著的攻击成功率,揭示了它们在安全训练中的不足。

  13. RESEARCH · CL_230863 ·

    BenchMIRT方法揭示LLM基准测试的真实测量内容 · 追踪2个来源

    研究人员推出了一种名为BenchMIRT的新方法论,旨在通过分析单个提示来剖析大型语言模型(LLM)在基准测试上的表现。该方法受项目反应理论(IRT)启发,旨在区分构成模型在特定任务得分的各种潜在能力,例如安全性和通用推理能力。通过将多维IRT(MIRT)应用于100个LLM在16个基准测试上的数据,BenchMIRT揭示,一些旨在衡量社会偏见的基准测试(如BBQ)比以往认为的更接近通用推理能力。

  14. RESEARCH · CL_229066 ·

    新研究利用新颖的后缀搜索技术解决 LLM 越狱优化问题

    两篇新研究论文提出了改进大型语言模型越狱有效性的新颖方法。第一篇论文“Breadth Beats Depth”介绍了一个名为 BOSS 的框架,该框架使用面向广度的后缀搜索来避免过度强调简单的越狱,并探索更有希望的后缀空间区域。第二篇论文“TACS: Trajectory-Aware Candidate Selection”通过开发一个轨迹感知选择框架来解决后缀优化中的隐藏瓶颈,该框架鼓励选择在当前步骤之后仍然有效的选项,从而减轻选择…

  15. TOOL · CL_226812 ·

    新的LMSM框架通过模块化设计增强LLM安全性

    研究人员推出了一种名为语言模型安全模块(LMSM)的新型框架,旨在增强大型语言模型(LLM)部署的安全性。LMSM借鉴了Linux安全模块的理念,将证据校准、策略评估和输出门控等过程分离开来。这种模块化方法允许灵活且可解释地执行安全规则,而无需完全重建请求处理系统。在Qwen3-4B模型上的测试表明,LMSM在XSTest上仅略微增加了误拒绝率的情况下,显著降低了HarmBench上的攻击成功率,同时保持了高吞吐量。

  16. RESEARCH · CL_215736 ·

    新的CLEAR框架在不损失实用性的情况下增强大模型安全性 · 跟踪2个来源

    研究人员开发了CLEAR,一个用于在不牺牲实用性的情况下提高大语言模型(LLM)安全性的新框架。CLEAR使用一种连续潜在适配器路由机制,仅在必要时选择性地应用安全调整,从而防止在良性任务上的性能下降。实验表明,CLEAR在HarmBench等基准测试中显著减少了有害输出,同时在GSM8K等实用性基准测试中保持甚至提高了性能,特别是在应用于LLaMA-3-8B-Instruct等模型时。

  17. TOOL · CL_208707 ·

    Mistral 发布自托管 3B 审核模型 Shieldstral 1.0

    Mistral 发布了 Shieldstral 1.0,这是一款拥有 30 亿参数、专为自托管文本和图像内容审核设计的模型。该模型在 Apache 2.0 许可下提供,并包含完整权重,可在单块 16GB GPU 上运行,并可与常见的推理栈集成。其主要特点是“策略自适应”审核,允许用户通过自然语言提示定义审核规则,而无需重新训练。尽管 Mistral 报告了强劲的基准分数,但这些分数尚未得到独立验证,且该模型专注于审核而非通用任务。

  18. TOOL · CL_206007 ·

    新框架通过可重用、不断发展的攻击技能扩展 AI 红队测试

    研究人员开发了 JailbreakSkill,这是一个旨在增强 AI 模型自动化红队测试的框架。该系统将现有的攻击策略打包成模块化、可重用的技能,这些技能可以随着时间的推移而适应和发展。通过从攻击经验中学习,JailbreakSkill 可以改进、组合和发现新技能,显著提高在 AdvBench 和 HarmBench 等基准测试上的攻击成功率,包括对 GPT-5.4 取得了显著的提升。

  19. TOOL · CL_193333 ·

    HoloAegis 框架通过几何推理提供零样本 LLM 安全性

    研究人员推出了一种新颖的 LLM 安全护栏框架 HoloAegis,该框架利用冻结语义表征上的几何推理。这种方法避免了微调导致的表征失真与生成式裁判的高推理成本之间的权衡。HoloAegis 在多个基准测试中实现了最先进的准确性,具有最小的延迟且无需冷启动数据,并展示了强大的跨语言迁移能力。

  20. TOOL · CL_167286 ·

    新的1.84亿参数安全分类器Semalith v1.4在提示注入方面优于Llama-Guard-3-8B

    研究人员推出Semalith v1.4,这是一款专为大型语言模型设计的新型安全分类器。这款基于DeBERTa-v3-base构建的1.84亿参数模型在检测提示注入攻击和确保合规性方面表现出色,尤其是在金融服务领域。在评估中,Semalith v1.4在提示注入基准测试中优于Llama-Guard-3-8B,同时使用的参数量显著减少,尽管Llama-Guard-3-8B在一般危害检测方面表现更强。