两篇新研究论文提出了合并微调语言模型的新颖方法。第一种方法，通用-独特子空间分解（CUSD），将任务向量分解为通用和独特组件，以提高可合并性，并在各种模型和算子上显示出显著的收益。第二种方法，正交模型合并（OrthoMerge），在正交群的黎曼流形上进行操作，以保持模型权重的几何特性，解决了线性算术方法的局限性，并证明了在减轻灾难性遗忘方面的有效性。 AI
影响 这些方法可能导致更有效地将不同能力集成到单个LLM中，减少灾难性遗忘并提高性能。
排序理由 两篇在arXiv上发表的学术论文，提出了新的模型合并方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2611.04108v2 Announce Type: replace-cross Abstract: Model merging combines multiple fine-tuned models without additional training, and arithmetic methods have emerged as a simple yet effective way to merge models without data. However, existing arithmetic methods treat task…
arXiv:2602.05943v2 Announce Type: replace Abstract: Merging finetuned Large Language Models (LLMs) has become increasingly important for integrating diverse capabilities into a single unified model. However, prevailing model merging methods rely on linear arithmetic in Euclidean …