NVIDIA B200 GPU

Nous Research 通过 Token Superposition 将 LLM 预训练时间缩短 2.5 倍

Nous Research 开发了 Token Superposition Training (TST) 方法，旨在显著加速大型语言模型 (LLM) 的预训练。该技术可以将 2.7 亿至 100 亿参数模型的预训练时间缩短高达 2.5 倍，同时不改变模型的架构或推理方式。TST 通过在两个阶段修改训练循环来实现：初始的“叠加”阶段，其中 token 嵌入被平均并在更大的批次中处理；随后是恢复到标准训练的“恢复”阶段。实验表明，与传统方…