新框架MissDiag评估知识图谱问答和知识图谱检索增强生成在知识缺失情况下的鲁棒性

研究人员推出了一款名为MissDiag的新框架，旨在评估知识图谱问答（KGQA）和基于知识图谱的检索增强生成（KG-RAG）系统在面对不完整知识时的鲁棒性。与以往提供聚合分数的旧方法不同，MissDiag在保持问题和答案不变的情况下，对支持图谱进行结构化的缺失干预。这种方法可以更详细地了解不同类型的缺失证据如何影响系统性能和评估协议，并揭示了相邻证据的丢失会导致最显著的性能下降。 AI

影响 在不完整知识条件下，为诊断和压力测试KGQA和KG-RAG系统提供了一种更具可解释性的方法。

排序理由 该条目描述了一个在arXiv上发布的用于KGQA和KG-RAG系统的新诊断评估框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• KGQA
• KG-RAG
• MissDiag
• ScienceCast

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →