实体 Conditional KL

Conditional KL

PulseAugur coverage of Conditional KL — every cluster mentioning Conditional KL across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_324456 · Oct 27 · 04:00

新框架通过分布匹配统一 LLM 训练算法

研究人员引入了一个新的框架来理解大型语言模型训练算法，通过分布匹配的视角来审视它们。这一视角表明，各种训练方法都可以被构建为最小化模型当前分布与目标分布之间的散度。该研究强调，当模型分布接近目标分布时，On-Policy Distillation (OPD) 的表现优于经典的 Knowledge Distillation (KD)，而在它们相距较远时表现则较差。为了解决估计方差和目标分布退化等问题，设计了一种名为 Conditiona…