实体 Jitai Hao

Jitai Hao

PulseAugur coverage of Jitai Hao — every cluster mentioning Jitai Hao across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_231473 · Sep 2 · 04:00

新的低秩克隆方法以 1000 倍的效率训练更小的模型

研究人员开发了一种名为低秩克隆（LRC）的新方法，以创建能够模仿更大模型性能的更小、更高效的语言模型。LRC 使用投影矩阵来压缩教师模型的权重并对齐学生的激活，包括来自前馈网络的激活。实验表明，与在万亿个 Token 上训练的模型相比，LRC 使用仅 200 亿个 Token 即可实现超过 1000 倍的训练效率。