PulseAugur
中
实时 14:58:01
实体 SparseDecoding

SparseDecoding

PulseAugur coverage of SparseDecoding — every cluster mentioning SparseDecoding across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_280363 ·

    新方法通过稀疏注意力和剪枝技术加速 LLM 解码 · 跟踪 5 个来源

    研究人员正在开发新的方法来加速大型语言模型 (LLM) 推理,主要侧重于优化通常受内存限制的解码阶段。一种方法 SparseDecoding 使用由层激活引导的解码感知剪枝来降低延迟并提高 Llama 和 Qwen 等模型的性能。另一种策略 Attention-Mass Condensation 探索了注意力质量集中如何实现稀疏解码,尽管它指出保留的质量本身并不能保证稳定的决策。此外,稀疏非对称组查询注意力 (SAGA) 等方法将键和…