XHotpotQA

新的XHotpotQA基准测试AI的跨语言知识组合能力

研究人员推出了XHotpotQA，这是一个旨在评估多跳问答系统中跨语言知识组合能力的新基准。与翻译整个示例的先前基准不同，XHotpotQA明确为问答过程的不同组件分配语言，包括问题、桥接证据和包含答案的证据。该基准包含15,661个训练实例和7,405个验证实例，并提供详细的句子级支持监督和干扰项。初步评估表明，语言和脚本接口之间的不匹配会显著降低性能，凸显了需要整合来自不同语言信息的人工智能系统所面临的挑战。