PulseAugur
中
实时 21:47:30
实体 Influence-Directed Adaptive On-Policy Distillation

Influence-Directed Adaptive On-Policy Distillation

PulseAugur coverage of Influence-Directed Adaptive On-Policy Distillation — every cluster mentioning Influence-Directed Adaptive On-Policy Distillation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_229082 ·

    新蒸馏方法提升AI模型多样性迁移能力

    研究人员推出了一种名为Influence-Directed Adaptive On-Policy Distillation (IDA-OPD)的新方法,以解决语言模型中多样性蒸馏失败的问题。该技术旨在改进学生模型继承教师模型多样性的方式,这是一个常见问题,即学生模型在单Token预测上的性能有所提升,但其整体多样性却停滞不前。IDA-OPD通过分析模型更新的熵效应,选择性地保留有益的更新并修改有害的更新来实现这一点,而且无需教师模型的…