研究人员开发了一种新的无数据模型合并技术，称为SA-Merging，旨在将多个专门的AI模型合并为一个更强大的模型。该方法利用基于连接性的显著性得分（源自结构剪枝），来识别和保留关键的层间依赖关系和专业知识分布。SA-Merging还包含感知合并的调制，以减少任务间的干扰，并且可以扩展到处理LoRA（低秩适应），而不会损害结构。实验表明，该方法显著提高了视觉和语言任务的性能，缩小了无数据合并与测试时适应方法之间的差距。 AI
影响 这种新方法可以更有效地整合专门的AI模型，有可能在无需大量重新训练数据的情况下，实现更通用、更强大的AI系统。
排序理由 这是一篇详细介绍模型合并新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →