研究人员开发了新的方法来压缩大型语言模型的上下文，使其能够更有效地处理更多信息。来自arXiv的FlexComp框架通过对每个实例的内存预算进行采样，使单个模型能够处理可变的压缩率，其性能优于固定比率的专用模型。LatentPress是另一种方法，它将对话历史和文档编码成连续的内存令牌，冻结的解码器可以直接读取，绕过文本重建，并显著加快推理速度。 AI
影响 这些方法可以显著降低大型语言模型的计算成本和延迟，从而能够在资源受限的环境中更广泛地部署。
排序理由 该集群描述了两篇关于大型语言模型上下文压缩方法的新研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2609.11192v1 Announce Type: new Abstract: Soft context compression condenses a context into a few memory tokens that a frozen LLM consumes in place of the raw text, but existing compressors fix the compression ratio at training and inference: each deployed ratio requires a …
Compressed context is usually carried as human-readable text or as rendered images that must be decoded, even when its consumer is a language model. We introduce LatentPress, which writes conversational histories and long documents into a third representation: continuous memory t…