新的 MLLM 安全护栏通过预测不安全输出来减少过度拒绝

研究人员为多模态大语言模型（MLLM）开发了一种新的输出感知安全护栏系统，旨在在保证安全的同时减少过度拒绝。与可以不加区分地阻止查询的现有输入端护栏不同，这种新方法通过分析模型的隐藏状态来预测其即将生成的输出是否不安全。这使得仅在有害输出即将出现时进行精确干预，从而保留了模型的实用性和内置安全功能。 AI

影响 这种新的安全机制通过减少不必要的拒绝，可以带来更有用、更少令人沮丧的 MLLM 交互体验。

排序理由 这是一篇研究论文，详细介绍了一种改进 MLLM 安全护栏的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX Code Finder for Papers
• Connected Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• IArxiv Recommender
• Influence Flower
• Litmaps
• MLLMs
• ScienceCast
• scite Smart Citations

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →