研究人员开发了一种名为联合零空间投影(JNSP)的新方法,用于合并独立微调的AI模型,而无需任何数据或梯度步骤。该技术将模型合并视为子空间干扰问题,识别并移除位于其他任务子空间中的任务向量分量。JNSP是一个闭式、与顺序无关的过程,在CLIP图像分类任务上的准确性显著高于现有的TIES-Merging和Task Arithmetic等方法,比最强的基线高出11个多点。 AI
影响 这种无数据模型合并技术可以简化多任务模型的创建,可能降低计算成本并加速开发。
排序理由 详细介绍一种新颖模型合并方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- JNSP
- Joint Null-Space Projection
- RoBERTa-large
- TALL
- Task Arithmetic
- TIES-Merging
- ViT-B/16
- ViT-B-32
- ViT-L-14
- Wudi
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →