研究人员推出了一款名为“answer-in-context”的新诊断工具，以更好地评估检索增强生成（RAG）系统。该诊断工具衡量正确答案是否保留在提供给 RAG 模型的有限上下文窗口内，比传统的召回率指标更有效。此外，该研究提出了一种构建读者上下文的方法，将其构建为一个有预算限制的子模最大化问题，该问题优化了相关性、覆盖率和多样性。这种方法在特定数据集和某些条件下显示出改进，尤其是在处理多跳推理和小型语言模型时。 AI
影响 引入了一种更准确的评估 RAG 系统的指标和一种新颖的上下文打包策略，可以提高复杂推理任务的性能。
排序理由 该项目是一篇学术论文，详细介绍了一种用于评估 RAG 系统的新诊断工具和方法论。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.00725v1 Announce Type: new Abstract: Retrieval-augmented generation (RAG) under a fixed reader-context budget forces a selection problem: of the evidence retrieved, only a fraction can be shown to the reader. We argue that document recall -- the standard retrieval metr…
Retrieval-augmented generation (RAG) under a fixed reader-context budget forces a selection problem: of the evidence retrieved, only a fraction can be shown to the reader. We argue that document recall -- the standard retrieval metric -- is the wrong quantity to optimize in this …