Jungyong Son

新方法无需重新训练即可合并多任务AI模型

研究人员开发了一种新颖的无训练方法，用于多任务模型合并中的任务分类，旨在提高性能，同时在推理过程中无需额外的训练数据或任务ID。该方法名为SiM，利用基于奇异值分解（SVD）的低秩流形近似，根据测试输入在每个任务流形上的投影残差来评估任务得分。这使得可以动态路由以激活与任务相关的参数，从而有效缩小合并模型与各个任务专家在各种计算机视觉和自然语言处理基准测试中的性能差距。