$\alpha$Transfer

新的 $\alpha$Transfer 方法加速了 AI 模型合并

研究人员推出了一种名为 $\alpha$Transfer 的新方法，用于高效的模型合并。该方法将最优合并系数从较小的代理模型迁移到较大的目标模型。该方法利用了同一模型家族的模型在不同大小下，对于合并系数表现出相似的性能分布这一观察结果。实验表明，在保持可比性能的同时，显著加速了视觉 Transformer 和大型语言模型的处理速度并减少了内存占用。