研究人员开发了InfiGFusion，一个用于融合异构开源大语言模型的新框架。该方法使用图对logit蒸馏（GLD）损失来模拟token间的语义依赖关系，这是先前方法所忽略的。InfiGFusion显著提高了融合质量和稳定性，在11个基准测试中表现优于最先进的基线模型，尤其是在复杂推理任务方面。 AI
影响 引入了一种改进融合大语言模型性能的新方法，特别是在复杂推理任务方面。
排序理由 该集群包含一篇详细介绍模型融合新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →