实体
FlexAttention
FlexAttention
PulseAugur coverage of FlexAttention — every cluster mentioning FlexAttention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的面向边缘的注意力层提高了图生成模型的可扩展性
研究人员开发了一种面向边缘的注意力层,旨在提高图生成模型的可扩展性。该新层将结构信息整合到注意力分数中,并使用轻量级机制进行动态边缘更新,将峰值 GPU 内存使用量减少约 65%,并提高训练和采样吞吐量。所提出的架构使用 PyTorch 的 FlexAttention 实现,为创建可扩展的图基础模型提供了一种实用的方法。
-
FlashMask-3 通过优化的注意力核加速 LLM 训练
研究人员开发了 FlashMask-3,这是一种新颖的稀疏掩码核,旨在加速大型语言和多模态模型的长上下文注意力。这个新核优化了 Hopper 架构 GPU 的注意力机制,显著降低了通信开销并提高了训练吞吐量。基准测试表明,FlashMask-3 在涉及分布式训练和大上下文窗口的场景中,与 FlashAttention-3、FlexAttention 和 MagiAttention 等现有方法相比,取得了显著的性能提升。