pi-Attention

新研究致力于稀疏注意力，以实现高效的长上下文大语言模型 · 跟踪 6 个来源

2026 年 8 月发布的多个研究论文探讨了用于大语言模型稀疏注意力机制的新方法，旨在提高效率和长上下文建模能力。这些研究引入了诸如学习到的 Tsallis 指数、具有流式处理能力的在线高效稀疏注意力以及输入自适应稀疏引擎等技术。目标是降低自注意力的二次计算复杂度，使模型能够更有效地处理更长的上下文并加速推理时间，尤其是在视频扩散模型和通用语言任务方面。