PulseAugur
中
实时 10:03:36
English(EN) CORAM: Coherent Orthogonal Rotation for Model Merging

CORAM方法通过流形上的SVD增强AI模型合并

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出了一种新颖的微调AI模型合并方法CORAM，该方法改进了现有的OrthoMerge等技术。与先前在欧几里得权重空间中使用线性算术的方法不同，CORAM利用了对分割权重矩阵进行奇异值分解（SVD），以合并其各自流形上的任务特定因子。该方法包含一个放大系数和一个恢复强度参数，无需广泛的候选评估即可估算，以管理流形平均的收缩效应。CORAM在各种模型家族和规模上均显示出比OrthoMerge显著的改进，与强大的权重空间基线相匹配或超越。 AI

影响 这项研究可以实现更有效和高效的专业AI模型的组合，可能加速复杂AI系统的开发和部署。

排序理由 该集群描述了arXiv论文中提出的一种用于AI模型合并的新方法。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

CORAM方法通过流形上的SVD增强AI模型合并

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Xinyi Sui, Ziran Liu, Nam Ling, Wei Wang, Wei Jiang ·

    CORAM：模型合并的相干正交旋转

    arXiv:2608.17366v1 Announce Type: new Abstract: Merging finetuned models combines specialized capabilities without joint training or access to the original data. Most methods operate by linear arithmetic in Euclidean weight space, which cannot carry the geometry of the update. Or…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    CORAM：模型合并的相干正交旋转

    Merging finetuned models combines specialized capabilities without joint training or access to the original data. Most methods operate by linear arithmetic in Euclidean weight space, which cannot carry the geometry of the update. Orthogonal Model Merging (OrthoMerge) uses a singl…

相关实体

相关话题