Geometric Alignment Merging (GAM)

新框架聚合弱信号以提升大语言模型性能

研究人员开发了一个名为偏好 Delta 聚合 (PDA) 的新框架，通过结合多个“弱”监督信号来改进大语言模型。这些信号源自能力较弱的模型对之间的比较。为了解决合并过程中潜在的干扰问题，他们引入了几何对齐合并 (GAM) 方法，该方法在聚合之前对适配器子空间进行对齐。评估表明，带有 GAM 的 PDA 在知识推理和自主搜索任务上显著提升了模型性能，优于单一信号方法，并且随着每个额外信号的纳入而显示出收益。