新的AMRA技术可缓解大型语言模型拒绝能力损失

研究人员开发了一种名为AMRA的新方法来缓解“消融”（abliteration），这是一种大型语言模型失去拒绝能力的担忧。该技术通过使用秩-k更新和随机别名来隐藏模型权重矩阵中的拒绝信号，同时纠正下游矩阵以保持原始行为。AMRA在Llama-3-8B和Gemma-2-9B等模型上显示出有希望的结果，在消融后显著提高了它们的拒绝分数，同时在Massive Multitask Language Understanding基准测试等任务上的性能下降极小。 AI

影响 这项研究可能带来更强大的大型语言模型安全机制，防止模型被轻易操纵以绕过对齐。

排序理由 该集群包含一篇学术论文，详细介绍了一种缓解特定大型语言模型安全问题的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• Abliteration
• AMRA
• arXiv
• Gemma 2 9B
• Hugging Face
• Llama 3-8B
• Massive Multitask Language Understanding

• 安全
• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →