answer-in-context

新诊断工具改进 RAG 评估和上下文打包

研究人员推出了一款名为“answer-in-context”的新诊断工具，以更好地评估检索增强生成（RAG）系统。该诊断工具衡量正确答案是否保留在提供给 RAG 模型的有限上下文窗口内，比传统的召回率指标更有效。此外，该研究提出了一种构建读者上下文的方法，将其构建为一个有预算限制的子模最大化问题，该问题优化了相关性、覆盖率和多样性。这种方法在特定数据集和某些条件下显示出改进，尤其是在处理多跳推理和小型语言模型时。