研究人员开发了一种无需重新训练即可加速大型混合语言模型（LLM）长上下文解码的方法。该技术称为组合稀疏注意力（combined sparse attention），它用线性注意力层替换了大多数全注意力层，然后进一步优化了剩余的全注意力层。通过关注最近的令牌的滑动窗口、一个固定的前缀以及固定数量的最相关令牌，模型实现了显著的加速。该方法已被证明可以保持六种不同规模（从40亿到3970亿参数）的混合模型的准确性，并在特定模型上实现了256k令牌高达2.22倍的解码速度提升。 AI
影响 该方法可以显著降低大型语言模型处理和生成长文本序列所需的计算成本和时间。
排序理由 研究论文，详细介绍了一种加速大型语言模型解码的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
