Kosmos

KOSMOS库将AMD GPU上的LLM训练速度提高了1.83倍

一个名为KOSMOS的新库已被开发出来，以提高在GPU上训练大型语言模型的效率。KOSMOS通过使用自调度持久性内核来优化Transformer层内的通信和计算阶段，这些内核会适应数据就绪情况。在AMD Instinct MI350X和MI355X GPU上进行评估时，与现有方法相比，KOSMOS在Megatron-LM、DeepSeek-V3和Qwen3-235B等模型上实现了1.10倍至1.83倍的显著加速。