研究人员开发了 AlignMerge，一个用于合并大语言模型（LLM）的新框架，该框架明确地保持了对齐和安全属性。与可能无意中降低对齐度的先前方法不同，AlignMerge 将合并视为一个几何约束操作。它使用 Fisher-Rao 几何和对齐子空间投影器来确保在整个合并过程中保持安全性。跨越多个 LLM 系列（包括 LLaMA-3 8B 和 Mistral 7B）的实验表明，AlignMerge 提高了对齐度指标，并在各种任务上达到或超过了专家性能，与现有技术相比，显示出更少的对齐子空间漂移。 AI
影响 这项研究提供了一种在确保安全性的同时结合 LLM 能力的新方法，有望带来更强大、更对齐的复合模型。
排序理由 该集群包含一篇详细介绍 LLM 合并新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
