研究人员开发了GIFT，一种通过改进梯度通信来优化大型语言模型（LLM）预训练的新方法。GIFT在量化之前将梯度转换为几何感知坐标系，与传统的欧几里得空间方法相比，失真更小。这种方法可以更忠实地表示低精度梯度，从而缩短预训练时间并提高下游任务性能。该方法在Llama-300M和Llama-600M模型上进行了测试，在NVIDIA GH200 Superchips上显示预训练时间减少了7.6%。 AI
影响 该方法可以显著降低训练大型语言模型所需的计算成本和时间，从而可能加速该领域的研发。
排序理由 该集群包含一篇详细介绍LLM预训练新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.07494v1 Announce Type: cross Abstract: Gradient communication is a primary scaling bottleneck in large language model (LLM) pretraining. Communicating gradients in low-precision formats, such as FP8 and NVFP4, can significantly reduce the communication volume. Existing…
Gradient communication is a primary scaling bottleneck in large language model (LLM) pretraining. Communicating gradients in low-precision formats, such as FP8 and NVFP4, can significantly reduce the communication volume. Existing methods quantize gradients via linear or nonlinea…