研究人员开发了一种名为“弱化诱导策略内自蒸馏”(WISD)的新型自蒸馏技术,用于改进大型推理模型。与以往需要特权数据的方法不同,WISD通过量化或剪枝创建模型的弱化版本。原始模型与弱化模型之间的对比会产生训练信号,从而提高在数学和编码任务上的性能。该方法已显示出显著的准确性提升,例如,在HMMT 2025基准测试中,Qwen3.5-4B的准确率提高了12个百分点以上。 AI
影响 该技术提供了一种无需外部数据集即可增强推理模型的新颖方法,有望使先进的模型改进更加易于实现。
排序理由 详细介绍改进LLM新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- HMMT 2025
- Hugging Face
- LiveCodeBench v6
- Qwen3.5-4B
- Qwen3.6-35B-A3B
- Weakening-Induced On-Policy Self-Distillation
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →