Ornith-1.0-397B

新技术在无需重新训练的情况下加速了大型语言模型长上下文解码

研究人员开发了一种无需重新训练即可加速大型混合语言模型（LLM）长上下文解码的方法。该技术称为组合稀疏注意力（combined sparse attention），它用线性注意力层替换了大多数全注意力层，然后进一步优化了剩余的全注意力层。通过关注最近的令牌的滑动窗口、一个固定的前缀以及固定数量的最相关令牌，模型实现了显著的加速。该方法已被证明可以保持六种不同规模（从40亿到3970亿参数）的混合模型的准确性，并在特定模型上实现了256…