研究人员开发了 CompLLM，这是一种新颖的软上下文压缩技术，旨在解决大型语言模型 (LLM) 处理长上下文的计算挑战。与将整个上下文压缩为单个单元的现有方法不同，CompLLM 将上下文划分为多个片段并独立压缩它们。这种方法实现了压缩复杂度的线性扩展，使在较短序列上训练的模型能够泛化到更长的序列，并能够跨查询重用压缩的计算。实验表明，CompLLM 在首次令牌生成时间方面可实现高达 4 倍的加速，在 2 倍压缩率下可将 KV 缓存大小减少 50%，同时保持与未压缩上下文相当的性能。 AI
影响 该方法可以显著提高 LLM 在需要长上下文理解的任务中的效率和可扩展性。
排序理由 该集群包含一篇详细介绍 LLM 上下文处理新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
