研究人员推出了一种名为SeDeM的新型框架，旨在提高大型语言模型中长上下文问答的效率。SeDeM将压缩信息的存储与解码器的条件化过程解耦。它通过从Transformer中间层提取隐藏状态，将它们存储为记忆块，然后仅选择性地解压缩相关的块供解码器使用来实现这一点。与现有的压缩方法和全上下文处理相比，这种方法降低了计算成本并提高了吞吐量，同时还提高了在多个基准测试上的问答准确性。 AI
影响 该框架有望实现更高效、更准确的LLM长上下文处理，从而惠及需要广泛文档分析的应用。
排序理由 该集群包含一篇详细介绍改进LLM性能新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
