一篇新论文识别出硬提示压缩技术中的一种重大故障模式，称为“引用悬空”。当旨在通过选择高分文本片段来减少上下文长度的方法无意中丢弃了理解保留文本所需的关键支持信息（如先行词或桥接事实）时，就会发生这种情况。在包括GPT-5.5在内的多个数据集和模型中都观察到了这个问题，当删除支持性上下文时，准确性会显著下降。研究提出，提示压缩应同时优化相关性和引用完整性，以维持模型性能。 AI
影响 这项研究强调了提示压缩中的一个关键限制，表明未来的方法必须确保引用完整性，以维持LLM的性能和准确性。
排序理由 该集群讨论了一篇详细介绍LLM提示压缩技术中一种新故障模式的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
Hard prompt compression reduces long-context inference cost by independently scoring tokens, sentences, or chunks and retaining the highest-scoring units under a budget. We identify a structural failure in this procedure: independent selection can split dependent evidence pairs, …
<p>Most of your prompt is filler. A long system prompt, a stack of retrieved chunks, a block of few-shot examples — a large fraction of those tokens carry almost no information: articles, connectives, hedges, boilerplate. You pay for every one of them on <em>every</em> call, and …