一个名为PatchBench的新基准已被开发出来，用于评估大型语言模型（LLM）中安全补丁的有效性。该基准旨在识别补丁可能修复了特定的有害行为，但却无意中导致其他方面出现回归的情况，例如拒绝良性提示或在略微修改的有害提示上失败。PatchBench包含一组精心策划的400个高置信度越狱失败案例，以及一个名为PatchBench-Local的评估协议，该协议旨在通过检查原始提示的有害变体和良性邻近提示来测试行为的精确性。使用PatchBench-Local进行的初步评估显示，虽然全局能力可能在很大程度上保持不变，但可能会发生重大的局部附带损害，这凸显了现有聚合指标在评估LLM安全修复方面的局限性。 AI
影响 强调了对LLM安全补丁需要更精确的评估方法，可能影响未来更安全AI系统的开发和部署。
排序理由 该集群描述了一篇介绍用于评估LLM安全的新型基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
