multi-hot cross-entropy

新的 Token Superposition 方法将 LLM 预训练时间缩短 2.5 倍

研究人员开发了一种名为 Token-Superposition Training (TST) 的新预训练方法，旨在提高大型语言模型训练的效率。TST 包括一个两阶段过程：初始的叠加阶段，其中 token 与多热交叉熵目标相结合进行训练，然后是标准训练的恢复阶段。对高达 100 亿参数模型的评估表明，在同等损失条件下，TST 可将预训练时间缩短高达 2.5 倍。