PulseAugur
中
实时 10:50:06

新的基准DocHop-QA测试科学文档上的多跳推理

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了DocHop-QA，这是一个新的基准，旨在评估跨模态科学文档的多跳推理能力。该基准通过整合来自多篇PubMed文章的文本、表格和布局线索，克服了现有QA数据集的局限性，模拟了现实世界中的科学信息检索。目前的大型语言模型在处理DocHop-QA的长上下文和多证据需求方面表现出显著的挑战，这凸显了它作为未来科学QA系统严谨测试平台的潜力。 AI

影响 为评估LLM中的多模态、多文档推理建立了一个新的基准，推动了科学信息检索的前沿。

排序理由 该集群描述了一篇介绍用于评估AI能力的新基准数据集的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Jiwon Park, Seohyun Pyeon, Jinwoo Kim, Rina Carines Cabal, Zhenyuan He, Yihao Ding, Soyeon Caren Han ·

    DocHop-QA：迈向多文档集合上的多跳推理

    arXiv:2508.15851v2 Announce Type: replace Abstract: Despite rapid progress in large language models (LLMs), current QA benchmarks still overlook the core challenge of real-world scientific information seeking: synthesizing multimodal evidence scattered across multiple documents a…

相关实体

相关话题