FeatCal

FeatCal 方法提高了合并后 AI 模型的性能

研究人员开发了 FeatCal，一种用于校准合并后 AI 模型以提高其性能的新颖方法。该技术通过分析和减少特征漂移来解决合并后模型中常见的性能差距，特征漂移发生在合并模型产生的特征与原始专家模型产生的特征不同时。FeatCal 通过逐层校准过程实现这一点，该过程可有效更新模型权重，在 CLIP 和 GLUE 等基准测试中优于 Surgery 和 ProbSurgery 等现有方法。