一篇题为“更好的检索器，更差的标签”（Better Retrievers, Worse Labels）的新arXiv论文，指出了对话式RAG（检索增强生成）基准评估弃权（abstention）方式存在的一个重大缺陷。研究发现，依赖“黄金文档”（gold documents）的存在来判断上下文是否无法回答，会导致评估不准确，尤其是在使用强大的检索器时。研究表明，即使没有黄金文档的上下文也常常包含正确答案，而像Qwen3-4B这样的模型可以正确回答相当一部分这些“假漏”（false misses）。 AI
影响 强调了当前RAG评估指标潜在的不准确性，表明需要改进方法来评估模型的弃权能力。
排序理由 arXiv上发表的研究论文，详细介绍了评估RAG系统的研究方法问题。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
