研究人员开发了 BLASST，一种新颖的稀疏注意力机制，旨在加速具有长上下文的大型语言模型的推理。这种即插即用的解决方案通过简单的 Softmax 阈值动态跳过注意力块，无需训练或预计算。BLASST 在保持基准准确性的同时，为各种注意力变体的预填充和解码操作提供了显著的加速。 AI
影响 加速长上下文的 LLM 推理，可能降低运营成本并改善用户体验。
排序理由 这是一篇介绍改进 LLM 推理的新技术方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2512.12087v3 Announce Type: replace Abstract: The growing demand for long-context inference capabilities in Large Language Models (LLMs) has intensified the computational and memory bottlenecks inherent to the self-attention mechanism. To address this challenge, we introduc…