新方法从大型语言模型中提取推理核心，提升性能并实现模型合并

研究人员开发了一种名为子空间对齐重构（SAR）的新方法，可以显著提高大型语言模型的性能。SAR通过移除正交分量来关注对推理能力至关重要的模型更新的谱空间。该技术在保持超过99%的训练后性能的同时，增强了数学推理的探索能力并改进了编码任务。SAR在净化混合领域训练更新和实现不同专家模型之间更好的模型合并方面也显示出有效性。 AI

影响 增强了大型语言模型的推理和多领域能力，可能带来更高效的模型训练和合并。

排序理由 该集群包含一篇详细介绍改进大型语言模型新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• Connected Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• IArxiv Recommender
• Influence Flower
• Litmaps
• ScienceCast
• scite Smart Citations
• Subspace-Aligned Rewiring

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →