实体
BioCreative IX
BioCreative IX
PulseAugur coverage of BioCreative IX — every cluster mentioning BioCreative IX across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
BioCreative IX MedHopQA 挑战 LLM 的多跳医学问题回答能力
BioCreative IX MedHopQA 共享任务专注于评估生物医学领域的多跳问题回答系统。创建了一个包含 1000 个问答对的新数据集，需要在维基百科页面之间进行两跳推理，以挑战大型语言模型，特别是针对罕见病。比赛共有 48 个提交，其中最佳系统在概念准确性上达到了 89.30% 的 F1 分数，显著优于基线模型。检索增强生成 (RAG) 被证明对高性能至关重要，概念级评估增强了对答案的评估。
-
新的 MedHopQA 基准测试 LLM 在生物医学领域的多跳推理能力
研究人员推出了 MedHopQA，这是一个旨在评估大型语言模型在生物医学领域多跳推理能力的新基准。该基准包含 1,000 个专家精心策划的问题-答案对，每个问题都需要综合两篇不同的维基百科文章中的信息，并以自由文本形式提供答案。MedHopQA 数据集作为 BioCreative IX 的一项共享任务被提出，吸引了 13 个团队的 48 项提交，并强调了检索增强生成策略在提高性能方面的有效性。