MissDiag

新框架MissDiag评估知识图谱问答和知识图谱检索增强生成在知识缺失情况下的鲁棒性

研究人员推出了一款名为MissDiag的新框架，旨在评估知识图谱问答（KGQA）和基于知识图谱的检索增强生成（KG-RAG）系统在面对不完整知识时的鲁棒性。与以往提供聚合分数的旧方法不同，MissDiag在保持问题和答案不变的情况下，对支持图谱进行结构化的缺失干预。这种方法可以更详细地了解不同类型的缺失证据如何影响系统性能和评估协议，并揭示了相邻证据的丢失会导致最显著的性能下降。