Jialin Zhao

新研究通过基分解和 Gist Tokens 提供更快的 LLM 注意力 · 已跟踪 2 个来源

两篇新研究论文提出了加速大型语言模型注意力机制的新颖方法。第一篇“通过基分解加速注意力”（Accelerating Attention with Basis Decomposition）介绍了一种无损算法重构，可在无需重新训练的情况下实现显著的加速和权重减少，在 DeepSeek-V2-Lite 上实现了 34% 的更快的键/值投影。第二篇论文“通过 Gist Tokens 实现的简化稀疏注意力”（Simplified Sparse …