实体 TV-Regulated OPD

TV-Regulated OPD

PulseAugur coverage of TV-Regulated OPD — every cluster mentioning TV-Regulated OPD across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_241409 · Aug 26 · 00:00

新研究改进 AI 推理模型的 On-Policy Distillation

研究人员正在探索用于训练推理模型的 On-Policy Distillation (OPD) 技术，该技术使用教师模型提供每 token 的监督。然而，OPD 的有效性和最佳配置仍不清楚，其中“崩溃”（推理路径变窄）等问题是一个重大挑战。新的方法，如 RouteOPD 和 TV-Regulated OPD，分别旨在通过显式建模概率传输和稳定训练动态来改进 OPD。一篇关键性评论还综合了现有研究，确定了 token 加权、特权信息和引导…