研究人员推出了一种新颖的大语言模型（LLM）选择性上下文压缩框架CoMem。该方法旨在通过将长输入转换为紧凑的记忆槽来提高效率，但与以前的方法不同，CoMem是查询引导的，这意味着它学习保留与特定查询相关的信息。该框架利用对比式压缩器学习和硬负例挖掘策略来确保查询敏感且上下文保留的记忆表示。实验表明，CoMem在问答和RULER-NIAH基准测试中优于现有方法。 AI
影响 这种选择性压缩技术可能导致LLM中更有效和更具影响力的长上下文处理，从而提高复杂任务的性能。
排序理由 该集群描述了一篇详细介绍LLM上下文压缩新颖框架的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2611.16384v1 Announce Type: cross Abstract: As large language models (LLMs) advance toward increasingly long inputs, soft context compression offers a promising approach to efficient inference by converting long inputs into compact memory slots. Under limited memory budgets…
As large language models (LLMs) advance toward increasingly long inputs, soft context compression offers a promising approach to efficient inference by converting long inputs into compact memory slots. Under limited memory budgets, effective context compression remains challengin…