实体
Dynamic Sparse Attention
Dynamic Sparse Attention
PulseAugur coverage of Dynamic Sparse Attention — every cluster mentioning Dynamic Sparse Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
PIVOT 方法通过优化稀疏注意力来加速长上下文 AI 模型
一种名为 PIVOT 的新方法已被开发出来，用于优化动态稀疏注意力 (DSA) 模型在处理长上下文时的性能。PIVOT 解决了 DSA 索引器中的瓶颈问题，该瓶颈之前导致了二次方复杂度和推理速度减慢。通过对查询进行分组并为每个组使用单个代理扫描，PIVOT 显著加快了索引器的速度并降低了整体延迟，而无需重新训练模型。这种方法在 DeepSeek V3.2 和 GLM-5.1 等模型上展示了 4 倍的索引器加速和 1.6 倍的延迟降低。
-
新的注意力机制提升LLM效率并减少幻觉 · 跟踪10个来源
研究人员正在开发新颖的注意力机制，以提高大型语言模型（LLM）和多模态大型语言模型（MLLM）的效率和能力。这些进展侧重于优化长上下文的稀疏注意力，降低计算成本，并减轻幻觉和视觉基础薄弱等问题。Flash Sparse Attention (FSA)、Information-Regularized Attention (IRA) 和 Multipole Semantic Attention (MuSe) 等技术旨在提高性能、降低延迟，…