Marc Serra Ortega

Boa Compressor 为 LLM 提供线性时间上下文压缩

研究人员开发了 Boa Compressor，这是一种新颖的方法，用于以线性时间压缩大型语言模型 (LLM) 的上下文。与增加延迟的先前方法不同，Boa 使用 Mamba 状态空间模型即时压缩上下文，使其适用于实时推理。这种方法在相似的压缩率下，性能与离线压缩技术相当或更优，同时速度显著更快。Boa 可将上下文压缩高达 16 倍，为高效长上下文推理提供了实用的解决方案。