PulseAugur
中
实时 09:19:21
实体 Joint Subspace Sparse Attention

Joint Subspace Sparse Attention

PulseAugur coverage of Joint Subspace Sparse Attention — every cluster mentioning Joint Subspace Sparse Attention across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_300953 ·

    新的JSSA方法将LLM长上下文解码速度提升6.43倍

    研究人员开发了一种新颖的联合子空间稀疏注意力（JSSA）方法，以提高大型语言模型长上下文解码的效率。JSSA通过学习共享的低维查询-键子空间以获得更好的排序，并采用无收集的索引注意力核来提高效率，从而解决了令牌级选择的挑战。该方法显著提高了解码吞吐量，在128K上下文的NVIDIA B200 GPU上实现了高达6.43倍的性能提升，同时保持了高推理准确性。