Jiwon Park

新的基准DocHop-QA测试科学文档上的多跳推理

研究人员推出了DocHop-QA，这是一个新的基准，旨在评估跨模态科学文档的多跳推理能力。该基准通过整合来自多篇PubMed文章的文本、表格和布局线索，克服了现有QA数据集的局限性，模拟了现实世界中的科学信息检索。目前的大型语言模型在处理DocHop-QA的长上下文和多证据需求方面表现出显著的挑战，这凸显了它作为未来科学QA系统严谨测试平台的潜力。