PulseAugur
中
实时 18:11:25
实体 KL-based self-distillation

KL-based self-distillation

PulseAugur coverage of KL-based self-distillation — every cluster mentioning KL-based self-distillation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_154090 ·

    新研究发现AI代理自蒸馏中的解码崩溃现象

    研究人员在检索交错搜索代理的反馈增强自蒸馏中发现了一种失败模式，称为解码崩溃。当模型生成看似多样但与输入无关的推理和搜索输出时，就会发生这种情况，导致蒸馏信号无效。这种不稳定性源于不一致的监督信号，可以分解为模型和提示的不一致。为了解决这个问题，引入了指数移动平均（EMA）教师来稳定自教师并提高性能，尽管在其预热阶段会出现初步的回归。