NVIDIA GH200 Superchips

GIFT方法通过几何感知梯度提升LLM预训练速度

研究人员开发了GIFT，一种用于提高大型语言模型预训练期间梯度通信效率的新颖方法。GIFT采用几何感知方法，在量化之前将梯度转换为近各向同性空间，以最小化失真并保持模型性能。该技术在NVIDIA GH200 Superchips上，对于Llama-600M模型，将端到端预训练时间缩短了7.6%，同时与标准的欧几里得FP8通信相比，还提高了下游任务的保持性。