研究人员开发了 MOBO-Merge,一个用于优化模型合并参数的新颖框架。该方法将合并参数选择视为多目标贝叶斯优化问题,允许在有限的评估预算内高效地探索帕累托前沿。该框架在 Qwen3-4B 和 Llama-3.1-8B 模型上针对各种合并算子进行了测试,在大多数测试场景中均显示出优于随机搜索的性能。研究还发现,没有单一的合并算子是普遍最好的,TIES 和 Block-Linear 4x 在不同的配置中表现出优势。 AI
影响 这项研究可能带来更有效和更强大的组合 AI 模型的方法,从而可能降低开发新 AI 功能的计算成本。
排序理由 该集群包含一篇详细介绍 AI 模型合并新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →