研究人员开发了GRAM,一种将多个微调AI模型合并成一个更强大模型的 novel 方法。GRAM 解决了“子空间干扰”问题,即合并在不同任务上训练的模型可能导致性能下降。通过在合并前对具有相似几何关系的任务进行分组,GRAM 显著减少了这种干扰,并在语言理解、视觉和医学指令调优任务上优于现有方法。该过程仅需要微调后的权重,使其适用于隐私敏感的应用。 AI
影响 这项研究通过允许在不显著降低性能的情况下组合专门的AI模型,从而能够更有效地部署它们。
排序理由 该集群包含一篇学术论文,详细介绍了一种新的模型合并方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →