Multi Layer Attention
PulseAugur coverage of Multi Layer Attention — every cluster mentioning Multi Layer Attention across labs, papers, and developer communities, ranked by signal.
-
机器学习突破融合现有数学；消融研究验证模型
机器学习领域的最新讨论强调，突破源于现有数学概念的新颖组合和应用，而非全新的理论。LatentMoE、MLA、LoRA、SVD 和特征分解等技术体现了这种重新利用既有思想的趋势。此外，还强调了严格实验方法（如消融研究）的重要性，这些方法对于验证因果关系和分离变量至关重要，这对于模型改进和研究验证至关重要。
-
TileLang通过Python接口简化GPU内核编写
一种名为TileLang的新编程语言旨在通过提供介于Triton等高级框架和CUTLASS等底层控制之间的中间层来简化GPU内核开发。TileLang允许开发人员编写Python代码，同时显式定义数据在内存层次结构和流水线阶段的放置。然后，编译器会推断线程映射并优化布局，从而降低了通常与手动线程管理相关的复杂性。
-
OpenMythos 教程展示用于更深层计算的循环 Transformer
OpenMythos 框架能够构建先进的循环深度 Transformer 模型，并通过使用 Google Colab 的教程进行了演示。该教程展示了如何构建和比较多潜在注意力（MLA）和分组查询注意力（GQA）模型变体，并分析它们的参数数量和循环注入矩阵的稳定性。该过程涉及设置一个合成组合推理任务，模型在该任务中学习预测固定值的模数和，说明了循环如何通过参数重用来促进更深层的计算。
-
DeepSeek的200人团队通过开源的高性能模型让AI巨头难堪
一个名为DeepSeek的中国AI团队发布了DeepSeek V4，这是一个拥有1.6万亿参数和100万token上下文窗口的模型，据报道其性能优于主要AI实验室的领先模型。尽管团队规模和计算资源都少得多，DeepSeek在数学、编码和长上下文检索的基准测试中取得了最先进的成果。该模型已开源，对OpenAI等公司的巨额计算投入构成了潜在挑战。
-
SnapMLA论文详细介绍了用于高效长上下文MLA解码的硬件感知FP8量化流水线
研究人员开发了SnapMLA，这是一个旨在提高多头潜在注意力（MLA）架构中长上下文解码效率的新框架。该方法利用硬件感知FP8量化技术来解决数值异质性和尺度不对齐等挑战。实验表明，SnapMLA在长输出解码任务中可将吞吐量提高高达1.91倍，同时保持基准测试质量。
-
BLASST 论文介绍动态稀疏注意力以加速 LLM 推理
研究人员开发了 BLASST，一种新颖的稀疏注意力机制，旨在加速具有长上下文的大型语言模型的推理。这种即插即用的解决方案通过简单的 Softmax 阈值动态跳过注意力块，无需训练或预计算。BLASST 在保持基准准确性的同时，为各种注意力变体的预填充和解码操作提供了显著的加速。
-
Kwai Summary Attention 压缩历史上下文以实现高效长上下文 LLM
研究人员推出了一种新颖的注意力机制 Kwai Summary Attention (KSA)，旨在解决大型语言模型中标准 softmax 注意力的二次时间复杂度问题。KSA 旨在通过将历史上下文压缩成可学习的摘要 token 来维持 KV 缓存与序列长度之间的线性关系。这种方法试图在内存成本与有效保留长距离依赖性之间取得平衡，为现有方法（如减少 KV 缓存或使用对 KV 缓存友好的架构）提供了替代方案。
-
DeepSeek在A100上对MLA与GQA进行基准测试，揭示带宽-质量权衡
一篇技术分析探讨了DeepSeek在其模型中选择使用MLA（多头线性注意力）而非GQA（分组查询注意力）的原因。作者强调，这一选择是在计算带宽和输出质量之间进行的战略性权衡。文章展示了在NVIDIA A100 GPU上进行的基准测试，以说明这一架构决策对性能的影响。