PulseAugur
中
实时 01:51:12
实体 Activation-Conditioned Self-Distillation

Activation-Conditioned Self-Distillation

PulseAugur coverage of Activation-Conditioned Self-Distillation — every cluster mentioning Activation-Conditioned Self-Distillation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_271255 ·

    新的自我蒸馏方法在没有外部教师的情况下提高了LLM性能 · 跟踪4个来源

    研究人员推出了一些新颖的语言模型自我蒸馏技术，旨在提高性能，而无需外部教师或真实标签。激活条件自我蒸馏（ACSD）从模型激活中提取引导向量来指导学习，在数学和编码基准测试中取得了高精度。另一种方法，知识到提示（K2P），从教师解决方案中合成和优化可重用的指令，用于无标签蒸馏。此外，InFlow将该过程建模为信息流，根据信念转移检索和选择信息源，以增强策略内自我蒸馏。