Llama-300M

GIFT方法通过几何感知梯度加速LLM预训练 · 跟踪2个来源

研究人员开发了GIFT，一种通过改进梯度通信来优化大型语言模型（LLM）预训练的新方法。GIFT在量化之前将梯度转换为几何感知坐标系，与传统的欧几里得空间方法相比，失真更小。这种方法可以更忠实地表示低精度梯度，从而缩短预训练时间并提高下游任务性能。该方法在Llama-300M和Llama-600M模型上进行了测试，在NVIDIA GH200 Superchips上显示预训练时间减少了7.6%。