实体
Forward KL
Forward KL
PulseAugur coverage of Forward KL — every cluster mentioning Forward KL across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新蒸馏方法提升AI模型多样性迁移能力
研究人员推出了一种名为Influence-Directed Adaptive On-Policy Distillation (IDA-OPD)的新方法，以解决语言模型中多样性蒸馏失败的问题。该技术旨在改进学生模型继承教师模型多样性的方式，这是一个常见问题，即学生模型在单Token预测上的性能有所提升，但其整体多样性却停滞不前。IDA-OPD通过分析模型更新的熵效应，选择性地保留有益的更新并修改有害的更新来实现这一点，而且无需教师模型的…
-
TREK方法通过扩展探索支持来提升LLM推理能力
研究人员推出了一种新颖的分阶段程序TREK（Teacher-Routed Exploration via Forward KL），旨在增强语言模型的能力，特别是在复杂的推理任务中。TREK利用蒸馏并非为了直接模仿，而是为了扩展模型的探索支持，使其能够处理当前策略可能 falter 的提示。该方法在应用于Qwen3等模型时，在AIME 2024和AIME 2025等数学推理基准上显示出显著的改进，并且还提高了ALFWorld和Scien…