研究人员开发了一种名为策略内中期蒸馏(OPMD)的新方法,以改进大型语言模型(LLM)在专业领域的适应性。与平等对待所有训练数据的传统方法不同,OPMD会主动从不断发展的模型中采样轨迹,并使用教师模型的奖励,从而解决了训练-生成不匹配的问题。这种方法在Qwen等模型的数学基准测试中表现出改进,优于标准的下一个词预测方法。OPMD可以集成到现有的训练流程中,而不会增加推理时间。 AI
影响 这项研究可能导致LLM更高效、更有效的领域适应性,从而可能提高它们在专业任务上的性能。
排序理由 该集群包含两篇学术论文,详细介绍了一种新的语言模型训练方法及其对训练-推理不匹配的容忍度。
在 Hugging Face Daily Papers 阅读 →
- $7B
- bfloat16
- Fp8
- Hugging Face
- KV cache
- On-Policy Distillation
- reinforcement learning
- arXiv
- Llama 3.2:3b
- Math-500
- Minerva
- On-Policy Mid-Training Distillation
- Qwen
- Qwen3-1.7B-Base
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →