一项技术分析探讨了在检索索引中保持新鲜度的挑战，检索索引本质上是 LLM 应用程序的缓存。作者指出了两个平均陷阱：一个与查询如何分布（齐夫分布）有关，另一个与文档编辑如何平均有关。该分析提出了一种每文档拉格朗日分配方法，以在预算内优化新鲜度，表明与启发式方法相比，它可以显著减少陈旧答案。它还建议，在重排器中打破块最近性上的平局是一种实现近乎完美新鲜度的免费方法。 AI
影响 强调了 LLM 应用程序的关键基础设施挑战，影响数据新鲜度和查询准确性。
排序理由 对检索索引新鲜度和优化策略的技术分析。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p>A retrieval index is a cache, and every other cache in your stack has an invalidation protocol. HTTP has ETag; your CDN has a purge API. An index has a cron job and a hope, and how wrong it is comes down to two numbers: how often its answers change, and how often you look.<br …