研究人员开发了GIFT，一种用于提高大型语言模型预训练期间梯度通信效率的新颖方法。GIFT采用几何感知方法，在量化之前将梯度转换为近各向同性空间，以最小化失真并保持模型性能。该技术在NVIDIA GH200 Superchips上，对于Llama-600M模型，将端到端预训练时间缩短了7.6%，同时与标准的欧几里得FP8通信相比，还提高了下游任务的保持性。 AI
影响 提高了LLM预训练效率，可能降低计算成本并加速模型开发。
排序理由 该集群包含一篇详细介绍LLM预训练新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
Gradient communication is a primary scaling bottleneck in large language model (LLM) pretraining. Communicating gradients in low-precision formats, such as FP8 and NVFP4, can significantly reduce the communication volume. Existing methods quantize gradients via linear or nonlinea…