研究人员开发了一种新的模型合并方法，该方法考虑了架构对称性，而朴素的参数平均法通常会忽略这一点。所提出的方法将合并视为弗雷歇平均，利用适当流形上的测地线距离来定义模型接近度。这个通用框架包含了诸如Fisher合并等现有技术，并通过考虑低秩适配器（LoRA）特定的商流形几何结构，为合并LoRA提供了一种实用的算法。 AI
影响 引入了一种更鲁棒的模型组合方法，有可能提高下游应用的效率和性能。
排序理由 这是一篇详细介绍模型合并新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2604.27155v1 Announce Type: new Abstract: Model merging aims to combine multiple models into one without additional training. Na\"ive parameter-space averaging can be fragile under architectural symmetries, as their geometry does not take them into account. In this work we …