SA-Merging

新的SA-Merging技术无需数据即可合并AI模型

研究人员开发了一种新的无数据模型合并技术，称为SA-Merging，旨在将多个专门的AI模型合并为一个更强大的模型。该方法利用基于连接性的显著性得分（源自结构剪枝），来识别和保留关键的层间依赖关系和专业知识分布。SA-Merging还包含感知合并的调制，以减少任务间的干扰，并且可以扩展到处理LoRA（低秩适应），而不会损害结构。实验表明，该方法显著提高了视觉和语言任务的性能，缩小了无数据合并与测试时适应方法之间的差距。