新的Q-CARE框架提供查询无关的RAG评估

研究人员推出了一种新颖的框架Q-CARE，旨在以查询无关的方式评估检索增强生成（RAG）系统。该系统将用户查询分解为子查询，并将答案分解为原子声明，以评估查询覆盖率和声明可验证性。Q-CARE的指标，包括C-Prec@k、C-nDCG@k、完整性、简洁性和可验证性，在多样化基准上显示出比现有的RAGEval和RAGChecker等方法与人类判断更高的相关性。 AI

影响 为评估RAG系统提供了一种更健壮、更一致的方法，有可能提高其在实际应用中的可靠性和事实准确性。

排序理由 该集群包含一篇详细介绍AI系统新评估框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• Q-CARE
• RAGChecker
• ScienceCast

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →