Charm++

CHARM+ 机制提升大语言模型分布式注意力性能

研究人员推出了一种新颖的 CHARM+ 机制，旨在增强大语言模型（LLM）的分布式注意力，尤其适用于长序列。该新方法将顺序通信重组为多个级别，实现了层内并行和计算重叠。通过将跨硬件通信与层内通信解耦，CHARM+ 有效消除了带宽不平衡引起的同步开销，从而提高了 GPU 利用率和跨各种硬件架构的整体性能。评估结果表明，CHARM+ 的性能持续优于最先进的方法，在 PCIe 和 NVLink 架构上相比 Ring-Attention 实现…