实体
Self-Distillation Policy Optimization
Self-Distillation Policy Optimization
PulseAugur coverage of Self-Distillation Policy Optimization — every cluster mentioning Self-Distillation Policy Optimization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的 LLM 自蒸馏方法减少内存占用
研究人员开发了 MUON-RT，一种新颖的大型语言模型自蒸馏方法，通过重用教师-学生位移而不是单独的动量缓冲区，显著减少了内存使用。这种方法在新的 arXiv 论文中有所详述，它编码了应用更新的指数加权历史并平滑噪声。实验表明，MUON-RT 在使用量显著减少的持久内存的情况下，提高了准确性，优于标准的 AdamW 和基于动量的 Muon 方法。
-
AI推理研究质疑自我蒸馏的有效性
arXiv上发表的两篇研究论文探讨了自我蒸馏技术在提升AI推理能力方面的有效性。第一篇论文质疑诸如SDPO和OPSD等自我蒸馏方法是否能持续泛化到未见过的问题，并提出其报告的收益可能源于过拟合而非有效利用特权信息。第二篇论文批评了现有的自我蒸馏方法，认为仅靠评分教师无法有效定位错误。该论文提出了一种“批评条件自我蒸馏”方法，该方法在评分前先对一次展开生成批评，从而展示了改进的错误定位和纠正能力，尤其是在数学推理任务方面。