PG-OPD

新的策略内蒸馏方法提升LLM推理能力和效率 · 跟踪10个来源

多篇研究论文探讨了语言模型策略内蒸馏（OPD）技术的进展，旨在提高推理能力和训练效率。包括SimpleOPD、S$^2$VOPD、LOPD、CROP、DAPD和REOPD在内的几种方法，引入了新颖的策略来解决分词器不匹配、特权幻觉和选择性监督等挑战。这些方法旨在提高数学推理、代码生成和细粒度感知等任务的性能，其中一些方法展示了相对于现有方法的显著提升，甚至超越了Gemini-2.5-Pro和GPT-5.4等大型模型。