FlatHolistic

新的HiddenPathQA基准测试了知识图谱问答系统在隐藏知识路径上的表现

研究人员推出了HiddenPathQA，这是一个新的基准，旨在评估知识图谱问答（KGQA）系统在问题措辞未明确揭示底层知识图谱路径的情况下的表现。这解决了当前KGQA评估中的一个盲点，即评估通常依赖于用户可能不会提供的词汇线索。该基准包含1,055个跨越不同领域和跳数的手动验证问题。为了应对这一挑战，该论文提出了一种整体路径选择（Holistic Path Selection）方法，该方法将候选关系链作为整体单元进行评估，其表现显著优…