研究人员推出了一种新颖的微调AI模型合并方法CORAM，该方法改进了现有的OrthoMerge等技术。与先前在欧几里得权重空间中使用线性算术的方法不同，CORAM利用了对分割权重矩阵进行奇异值分解（SVD），以合并其各自流形上的任务特定因子。该方法包含一个放大系数和一个恢复强度参数，无需广泛的候选评估即可估算，以管理流形平均的收缩效应。CORAM在各种模型家族和规模上均显示出比OrthoMerge显著的改进，与强大的权重空间基线相匹配或超越。 AI
影响 这项研究可以实现更有效和高效的专业AI模型的组合，可能加速复杂AI系统的开发和部署。
排序理由 该集群描述了arXiv论文中提出的一种用于AI模型合并的新方法。
在 Hugging Face Daily Papers 阅读 →
- alphaXiv
- arXiv
- CatalyzeX
- CORAM
- CORE Recommender
- DagsHub
- Euclidean weight space
- Gotit.pub
- Hugging Face
- IArxiv Recommender
- manifold
- OrthoMerge
- ScienceCast
- singular value decomposition
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
