实体
Flash Sparse Attention
Flash Sparse Attention
PulseAugur coverage of Flash Sparse Attention — every cluster mentioning Flash Sparse Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的注意力机制提升LLM效率并减少幻觉 · 跟踪10个来源
研究人员正在开发新颖的注意力机制，以提高大型语言模型（LLM）和多模态大型语言模型（MLLM）的效率和能力。这些进展侧重于优化长上下文的稀疏注意力，降低计算成本，并减轻幻觉和视觉基础薄弱等问题。Flash Sparse Attention (FSA)、Information-Regularized Attention (IRA) 和 Multipole Semantic Attention (MuSe) 等技术旨在提高性能、降低延迟，…
-
MiniMax 发布用于 100 万 token 上下文窗口的稀疏注意力机制
MiniMax 推出了新颖的注意力架构 MiniMax Sparse Attention (MSA)，旨在处理高达 100 万 token 的上下文窗口。这种新方法重构了内存访问模式，以避免与长上下文相关的二次方复杂性，从而实现显著的加速和计算减少。据报道，MSA 的执行速度比以前的稀疏注意力方法快 4 倍，在完全上下文深度下，每个 token 的计算量减少到原来的 1/20，并声称是首个具有前沿编码、100 万上下文和原生多模态的开源模型。