MergeBench

CoMerge 框架使用冲突驱动的偏好优化来优化 LLM 合并

研究人员推出 CoMerge，一个新颖的框架，用于在无需完全重新训练的情况下优化多个大型语言模型 (LLM) 的合并。这种冲突驱动的偏好优化方法使用朴素合并方法的退化作为负样本来优化合并系数。实验表明，CoMerge 在 MergeBench 基准测试上的表现显著优于现有的模型合并基线，并在 Llama-3.1-8B-Instruct 的敏感任务上显示出显著的改进，同时只优化了少量系数。