PulseAugur
实时 10:31:17
English(EN) On-Policy Delta Distillation for Multilingual Math Reasoning

新的蒸馏技术提升了大型语言模型的多语言数学推理能力

研究人员探索了在线策略增量蒸馏(OPD^2),这是在线策略蒸馏(OPD)的一项改进,用于多语言数学推理。使用Qwen3模型的实验表明,OPD^2在英语、韩语和日语上的表现显著优于标准的OPD。研究还指出,虽然仅使用英语的OPD可以提升其他语言的性能,但可能会无意中将响应转向英语,这凸显了使用多语言数据来维持特定语言响应的必要性。 AI

影响 这项研究可能带来更有效的多语言大型语言模型,以应对复杂的推理任务。

排序理由 该集群包含一篇详细介绍大型语言模型训练后新技术的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的蒸馏技术提升了大型语言模型的多语言数学推理能力

报道来源 [1]

  1. Hugging Face Daily Papers TIER_1 English(EN) ·

    多语言数学推理的 On-Policy Delta Distillation

    On-Policy Distillation (OPD) is emerging as a promising alternative to reinforcement learning for LLM post-training, yet its effectiveness in multilingual settings remains underexplored. We study OPD and its advanced variant, On-Policy Delta Distillation (OPD$^2$), for mathematic…