Coram

CORAM方法通过流形上的SVD增强AI模型合并

研究人员推出了一种新颖的微调AI模型合并方法CORAM，该方法改进了现有的OrthoMerge等技术。与先前在欧几里得权重空间中使用线性算术的方法不同，CORAM利用了对分割权重矩阵进行奇异值分解（SVD），以合并其各自流形上的任务特定因子。该方法包含一个放大系数和一个恢复强度参数，无需广泛的候选评估即可估算，以管理流形平均的收缩效应。CORAM在各种模型家族和规模上均显示出比OrthoMerge显著的改进，与强大的权重空间基线相匹配或超越。