实体 $\\gamma$OPD

$\\gamma$OPD

PulseAugur coverage of $\\gamma$OPD — every cluster mentioning $\\gamma$OPD across labs, papers, and developer communities, ranked by signal.

总计 · 30天

0

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_252081 · Sep 14 · 04:00

新研究推进用于LLM训练的on-policy distillation · 追踪6个来源

研究人员正在开发用于on-policy distillation (OPD) 的先进技术，这是一种用于改进大型语言模型的方法。$\\gamma$OPD和STRIDE等新方法旨在通过改进时间信用分配方式以及何时停止或重启训练来提高优化稳定性和效率。其他研究探索了无数据蒸馏，即模型生成自己的训练问题，以及SCOPE-OPSD等利用特权子空间改进自蒸馏的方法，这些方法在数学推理和代码生成等领域显示出前景。