研究人员开发了一个名为偏好 Delta 聚合 (PDA) 的新框架，通过结合多个“弱”监督信号来改进大语言模型。这些信号源自能力较弱的模型对之间的比较。为了解决合并过程中潜在的干扰问题，他们引入了几何对齐合并 (GAM) 方法，该方法在聚合之前对适配器子空间进行对齐。评估表明，带有 GAM 的 PDA 在知识推理和自主搜索任务上显著提升了模型性能，优于单一信号方法，并且随着每个额外信号的纳入而显示出收益。 AI
影响 通过利用聚合的弱偏好信号，引入了一种改进大语言模型训练效率和性能的新方法。
排序理由 该集群包含一篇详细介绍大语言模型训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →