Mesh-Attention 通过改进数据局部性来提升大语言模型的可扩展性 · arXiv 论文

研究人员开发了 Mesh-Attention，这是一种新颖的通信高效分布式注意力机制，旨在通过改进数据局部性来提升大语言模型（LLMs）在长上下文中的可扩展性。与牺牲 KV 局部性的 Ring-Attention 等先前方法不同，Mesh-Attention 为 GPU 分配一个二维块以平衡 Q 和 KV 局部性，从而实现渐近更低的通信复杂度。在多达 256 个 GPU 上对 100 万个 token 的序列进行的实验表明，与现有方法相比，速度显著提升，并且随着规模的增加，性能优势得以保持。 AI

影响 提高了在大语言模型长上下文训练的效率，有望实现更强大、更具可扩展性的 AI 系统。

排序理由 该集群包含一篇详细介绍大语言模型分布式注意力新颖技术方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• Jingji Chen
• Mesh-Attention
• Ring-Attention
• StarTrail
• Ulysses
• University of São Paulo

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →