Mediator

Mediator 方法通过减少冲突和成本改进 LLM 合并

研究人员开发了一种名为 Mediator 的新方法，用于更有效地合并大型语言模型 (LLM)。该技术解决了传统平均方法中由参数冲突引起的性能下降问题。Mediator 选择性地平均冲突最小的层，并对冲突显著的层采用任务级专家路由，同时解耦专家以降低存储成本。该方法还结合了任务不确定性，为分布外样本选择和合并合适的专家，在 LLaMA 和 Qwen 模型上展示了性能提升，并降低了系统成本。