实体 MUON-RT

MUON-RT

PulseAugur coverage of MUON-RT — every cluster mentioning MUON-RT across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_336053 · Nov 2 · 05:00

新的 LLM 自蒸馏方法减少内存占用

研究人员开发了 MUON-RT，一种新颖的大型语言模型自蒸馏方法，通过重用教师-学生位移而不是单独的动量缓冲区，显著减少了内存使用。这种方法在新的 arXiv 论文中有所详述，它编码了应用更新的指数加权历史并平滑噪声。实验表明，MUON-RT 在使用量显著减少的持久内存的情况下，提高了准确性，优于标准的 AdamW 和基于动量的 Muon 方法。