PulseAugur
中
实时 14:59:13
实体 Sparse Asymmetric Group-Query Attention

Sparse Asymmetric Group-Query Attention

PulseAugur coverage of Sparse Asymmetric Group-Query Attention — every cluster mentioning Sparse Asymmetric Group-Query Attention across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_280363 ·

    新方法通过稀疏注意力和剪枝技术加速 LLM 解码 · 跟踪 5 个来源

    研究人员正在开发新的方法来加速大型语言模型 (LLM) 推理,主要侧重于优化通常受内存限制的解码阶段。一种方法 SparseDecoding 使用由层激活引导的解码感知剪枝来降低延迟并提高 Llama 和 Qwen 等模型的性能。另一种策略 Attention-Mass Condensation 探索了注意力质量集中如何实现稀疏解码,尽管它指出保留的质量本身并不能保证稳定的决策。此外,稀疏非对称组查询注意力 (SAGA) 等方法将键和…