实体 Mesh-Attention

Mesh-Attention

PulseAugur coverage of Mesh-Attention — every cluster mentioning Mesh-Attention across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_193651 · Aug 11 · 04:00

Mesh-Attention 通过改进数据局部性来提升大语言模型的可扩展性 · arXiv 论文

研究人员开发了 Mesh-Attention，这是一种新颖的通信高效分布式注意力机制，旨在通过改进数据局部性来提升大语言模型（LLMs）在长上下文中的可扩展性。与牺牲 KV 局部性的 Ring-Attention 等先前方法不同，Mesh-Attention 为 GPU 分配一个二维块以平衡 Q 和 KV 局部性，从而实现渐近更低的通信复杂度。在多达 256 个 GPU 上对 100 万个 token 的序列进行的实验表明，与现有方法…