实体
Token-Superposition Training
Token-Superposition Training
PulseAugur coverage of Token-Superposition Training — every cluster mentioning Token-Superposition Training across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
时间线
- 2026-05-14 research_milestone Nous Research unveils Token Superposition Training (TST), a method that speeds up LLM pre-training by up to 2.5x. 来源
最近 · 第 1/1 页 · 共 2 条
-
Nous Research 通过 Token Superposition 将 LLM 预训练时间缩短 2.5 倍
Nous Research 开发了 Token Superposition Training (TST) 方法，旨在显著加速大型语言模型 (LLM) 的预训练。该技术可以将 2.7 亿至 100 亿参数模型的预训练时间缩短高达 2.5 倍，同时不改变模型的架构或推理方式。TST 通过在两个阶段修改训练循环来实现：初始的“叠加”阶段，其中 token 嵌入被平均并在更大的批次中处理；随后是恢复到标准训练的“恢复”阶段。实验表明，与传统方…
-
新的 Token Superposition 方法将 LLM 预训练时间缩短 2.5 倍
研究人员开发了一种名为 Token-Superposition Training (TST) 的新预训练方法，旨在提高大型语言模型训练的效率。TST 包括一个两阶段过程：初始的叠加阶段，其中 token 与多热交叉熵目标相结合进行训练，然后是标准训练的恢复阶段。对高达 100 亿参数模型的评估表明，在同等损失条件下，TST 可将预训练时间缩短高达 2.5 倍。