Fused Chunked KL Loss

新方法大幅降低LLM蒸馏成本并延长上下文长度

Multiverse Computing的一篇新论文介绍了两种提高大型语言模型知识蒸馏效率的方法。第一种方法是离线蒸馏，它缓存教师模型的Top-K Logits，在单个H200 GPU上将训练时间缩短29%，吞吐量提高41%。第二项贡献是融合分块KL损失，该方法分块处理序列，使峰值内存使用量与序列长度呈线性关系，并能以四倍的上下文长度进行训练。这些技术共同降低了内存需求，并使大规模蒸馏更加经济实惠。