研究人员推出了XHotpotQA,这是一个旨在评估多跳问答系统中跨语言知识组合能力的新基准。与翻译整个示例的先前基准不同,XHotpotQA明确为问答过程的不同组件分配语言,包括问题、桥接证据和包含答案的证据。该基准包含15,661个训练实例和7,405个验证实例,并提供详细的句子级支持监督和干扰项。初步评估表明,语言和脚本接口之间的不匹配会显著降低性能,凸显了需要整合来自不同语言信息的人工智能系统所面临的挑战。 AI
影响 该基准将有助于研究人员开发能够整合不同语言信息的人工智能系统,这对于全球知识获取至关重要。
排序理由 该项目描述了一个用于评估AI模型的新学术基准。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- Influence Flower
- Litmaps
- ScienceCast
- scite Smart Citations
- XHotpotQA
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →