实体
Ring-Attention
Ring-Attention
PulseAugur coverage of Ring-Attention — every cluster mentioning Ring-Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
CHARM+ 机制提升大语言模型分布式注意力性能
研究人员推出了一种新颖的 CHARM+ 机制，旨在增强大语言模型（LLM）的分布式注意力，尤其适用于长序列。该新方法将顺序通信重组为多个级别，实现了层内并行和计算重叠。通过将跨硬件通信与层内通信解耦，CHARM+ 有效消除了带宽不平衡引起的同步开销，从而提高了 GPU 利用率和跨各种硬件架构的整体性能。评估结果表明，CHARM+ 的性能持续优于最先进的方法，在 PCIe 和 NVLink 架构上相比 Ring-Attention 实现…
-
Mesh-Attention 通过改进数据局部性来提升大语言模型的可扩展性 · arXiv 论文
研究人员开发了 Mesh-Attention，这是一种新颖的通信高效分布式注意力机制，旨在通过改进数据局部性来提升大语言模型（LLMs）在长上下文中的可扩展性。与牺牲 KV 局部性的 Ring-Attention 等先前方法不同，Mesh-Attention 为 GPU 分配一个二维块以平衡 Q 和 KV 局部性，从而实现渐近更低的通信复杂度。在多达 256 个 GPU 上对 100 万个 token 的序列进行的实验表明，与现有方法…