PulseAugur
中
实时 08:03:31
实体 O^3PD

O^3PD

PulseAugur coverage of O^3PD — every cluster mentioning O^3PD across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_339381 ·

    新的蒸馏方法提高了LLM的推理能力,但泛化挑战依然存在 · 跟踪4个来源

    研究人员正在探索策略内蒸馏(OPD)的新方法,这是一种用于改进大型语言模型的技术。一种方法vOPD引入了强化学习中的协方差基线,以稳定训练并减少梯度方差,实现了与计算成本更高的方法相当的性能。然而,另一项研究强调了OPD的泛化局限性,表明它会掩盖不完整的能力巩固,并导致在分布外任务上的性能下降。为了解决这些问题,正在开发EvoOPD等新策略来动态调整蒸馏过程中使用的特权信息,而仅顺序策略内蒸馏(O^3PD)则侧重于仅转移教师的令牌顺序…