实体
Low-Rank Clone
Low-Rank Clone
PulseAugur coverage of Low-Rank Clone — every cluster mentioning Low-Rank Clone across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
时间线
- 2026-09-02 research_milestone Researchers introduced Low-Rank Clone (LRC), a new method for efficient knowledge distillation in language models. 来源
最近 · 第 1/1 页 · 共 2 条
-
新的蒸馏方法通过训练已部署的权重来提高AI模型效率
研究人员开发了新的方法，Dense-LRC和CORE-LRC，通过确保训练的权重与已部署的权重相同来提高模型蒸馏的效率。这种方法解决了现有的低秩克隆（LRC）蒸馏器在训练过程中留下大量已部署MLP矩阵不可达的问题。新方法恢复了这种被浪费的容量，从而在Llama3.2 3B和Qwen2.5-3B等各种教师模型上获得了显著的准确性提升，并在令牌效率方面取得了显著改进。
-
新的低秩克隆方法以 1000 倍的效率训练更小的模型
研究人员开发了一种名为低秩克隆（LRC）的新方法，以创建能够模仿更大模型性能的更小、更高效的语言模型。LRC 使用投影矩阵来压缩教师模型的权重并对齐学生的激活，包括来自前馈网络的激活。实验表明，与在万亿个 Token 上训练的模型相比，LRC 使用仅 200 亿个 Token 即可实现超过 1000 倍的训练效率。