Kuangpu Guo

新的DTS框架以1%的存储开销合并AI模型

研究人员开发了分解、阈值和缩放（DTS）这一新的高效合并多个AI模型的框架。传统方法由于参数冲突常常会降低性能，而现有的个性化合并技术会增加存储开销。DTS通过使用奇异值分解仅保留必需的奇异值和向量，并结合一种新颖的阈值策略来对奇异向量元素进行分组并应用缩放因子，从而解决了这个问题。DTS的一个变体还通过基于语义相似性以无数据的方式融合特定任务信息，实现了对未见任务的泛化。