AlignMerge

新的 AlignMerge 框架在模型合并时保持 LLM 对齐

研究人员开发了 AlignMerge，一个用于合并大语言模型（LLM）的新框架，该框架明确地保持了对齐和安全属性。与可能无意中降低对齐度的先前方法不同，AlignMerge 将合并视为一个几何约束操作。它使用 Fisher-Rao 几何和对齐子空间投影器来确保在整个合并过程中保持安全性。跨越多个 LLM 系列（包括 LLaMA-3 8B 和 Mistral 7B）的实验表明，AlignMerge 提高了对齐度指标，并在各种任务上达到或…