一篇新研究论文探讨了代理检索增强生成（RAG）系统评估预算的最优分配。该研究使用HotpotQA和MuSiQue等数据集，表明优先考虑更广泛的问题覆盖而非更多的搜索轨迹或重复读取，可以显著降低错误率并提高效率。研究结果表明，在约3400万模型token的预算下，增加解决问题的数量与专注于轨迹深度或多次读取相比，能大幅降低标准误差。 AI
影响 这项研究可能带来更高效、更具成本效益的复杂AI系统评估，从而缩短开发周期。
排序理由 该集群包含一篇在arXiv上发表的研究论文，详细介绍了AI系统的新颖评估方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Evaluation budgets in agentic retrieval-augmented generation span questions, search trajectories, and repeated answers. We measure allocation precision, reading efficiency, and cost boundaries using a retrieval-feedback comparison on HotpotQA and MuSiQue. At 34.14--34.39M model t…
Evaluation budgets in agentic retrieval-augmented generation span questions, search trajectories, and repeated answers. We measure allocation precision, reading efficiency, and cost boundaries using a retrieval-feedback comparison on HotpotQA and MuSiQue. At 34.14--34.39M model t…