DIAL-OPD

LLM 后训练技术通过新的蒸馏和优化方法取得进展

LLM 后训练技术近期取得了进展，重点关注参数高效微调、偏好优化和蒸馏。DIAL-OPD 等新方法在蒸馏中展示了从更少 token 中学习能力的提高，而 LSC-DPO 则为直接偏好优化提供了一种学习信号控制的方法。此外，对 Group Policy Optimization (GRPO) 的研究已识别出故障模式并提出了解决方案，GRPO 也被应用于生产 OCR 任务。