PulseAugur
中
实时 05:53:24
English(EN) CoSA: Accelerating Long-Context Inference via Proxy-Kernel Co-Designed Sparse Attention

CoSA 为长上下文 LLM 引入高效稀疏注意力

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 CoSA，一种新颖的稀疏注意力机制，旨在加速长上下文语言模型的推理。CoSA 采用两阶段、无需训练的方法，将核感知代理 (KAP) 与有序跳跃核 (OSK) 相结合。该方法能够更准确地选择块并高效地进行核计算，从而在计算预算紧张和上下文长度扩展的情况下，显著加快注意力速度并减少首次令牌生成时间。 AI

影响 CoSA 的效率提升可能使其在资源受限的环境中更广泛地采用长上下文模型。

排序理由 详细介绍 LLM 推理新技术的学术论文。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

CoSA 为长上下文 LLM 引入高效稀疏注意力

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Yufei Xue, Lin Niu, Hong Liu, Siran Liu, Hanyong Shao, Wei Liu, Guanghua Yu, Jianchen Zhu, Jun Zhang ·

    CoSA：通过代理核协同设计的稀疏注意力加速长上下文推理

    arXiv:2607.25291v1 Announce Type: new Abstract: The quadratic cost of self-attention makes long-context inference prohibitively expensive, and proxy-based block-sparse attention has become a practical remedy. Existing methods typically rely on a proxy to predict a binary sparse m…

相关实体

相关话题