PulseAugur
中
实时 21:23:49
English(EN) InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion

InfiGFusion 通过图对logit蒸馏融合大语言模型

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了InfiGFusion，一个用于融合异构开源大语言模型的新框架。该方法使用图对logit蒸馏（GLD）损失来模拟token间的语义依赖关系，这是先前方法所忽略的。InfiGFusion显著提高了融合质量和稳定性，在11个基准测试中表现优于最先进的基线模型，尤其是在复杂推理任务方面。 AI

影响 引入了一种改进融合大语言模型性能的新方法，特别是在复杂推理任务方面。

排序理由 该集群包含一篇详细介绍模型融合新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Yanggan Gu, Fei Wu, Hongxia Yang ·

    InfiGFusion：通过高效Gromov-Wasserstein进行图到逻辑蒸馏以实现模型融合

    arXiv:2505.13893v2 Announce Type: replace Abstract: Recent advances in large language models (LLMs) have intensified efforts to fuse heterogeneous open-source models into a unified system that inherits their complementary strengths. Existing logit-based fusion methods maintain in…

相关实体

相关话题