NCBI Gene

新的 MedHopQA 基准测试 LLM 在生物医学领域的多跳推理能力

研究人员推出了 MedHopQA，这是一个旨在评估大型语言模型在生物医学领域多跳推理能力的新基准。该基准包含 1,000 个专家精心策划的问题-答案对，每个问题都需要综合两篇不同的维基百科文章中的信息，并以自由文本形式提供答案。MedHopQA 数据集作为 BioCreative IX 的一项共享任务被提出，吸引了 13 个团队的 48 项提交，并强调了检索增强生成策略在提高性能方面的有效性。