实体
Subspace-Aligned Rewiring
Subspace-Aligned Rewiring
PulseAugur coverage of Subspace-Aligned Rewiring — every cluster mentioning Subspace-Aligned Rewiring across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法从大型语言模型中提取推理核心，提升性能并实现模型合并
研究人员开发了一种名为子空间对齐重构（SAR）的新方法，可以显著提高大型语言模型的性能。SAR通过移除正交分量来关注对推理能力至关重要的模型更新的谱空间。该技术在保持超过99%的训练后性能的同时，增强了数学推理的探索能力并改进了编码任务。SAR在净化混合领域训练更新和实现不同专家模型之间更好的模型合并方面也显示出有效性。
-
新的SAR方法从LLM更新中提取紧凑型推理核心
研究人员开发了子空间对齐重构（SAR），一种新颖的大型语言模型事后编辑方法。SAR识别并分离出强化学习更新中的核心推理组件，这些组件通常集中在模型的谱空间中。通过保留这些基本组件并移除正交的、效果较差的部分，SAR可以在保留超过99%的训练后性能的同时，提高数学推理和代理编码能力。该技术还有助于模型合并和纯化混合域训练，展示了其作为增强LLM性能的无训练机制的潜力。