PulseAugur
实时 00:36:44
English(EN) mamabench and mamaretrieval: Benchmarks for Evaluating Medical Retrieval-Augmented Generation in Maternal, Neonatal, and Reproductive Health

发布新的孕产、新生儿和生殖健康领域 RAG 基准 mamabench 和 mamaretrieval

研究人员推出了两个新的基准,mamabenchmamaretrieval,专门用于评估孕产、新生儿和生殖健康领域的检索增强生成(RAG)系统。这些基准通过关注该领域医疗保健专业人员面临的独特问题,弥补了现有医学问答数据集的不足。mamabench 包括一个大型问答集和一个用于 LLM 裁判校准的 HealthBench 重新范围界定版本,而 mamaretrieval 则为孕产健康指南语料库提供了详细的相关性标签。 AI

影响 这些基准将能够更准确地评估专业医学领域的人工智能系统,从而可能改善临床决策支持。

排序理由 该集群包含一篇介绍特定领域新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.IR (Information Retrieval) 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

发布新的孕产、新生儿和生殖健康领域 RAG 基准 mamabench 和 mamaretrieval

报道来源 [1]

  1. arXiv cs.IR (Information Retrieval) TIER_1 English(EN) · Yi Ren ·

    mamabench and mamaretrieval:用于评估母婴和生殖健康领域检索增强生成(RAG)的基准测试

    Medical question-answering benchmarks rarely cover the maternal, neonatal, child, and reproductive-health questions a nurse-midwife asks, and, to our knowledge, no public chunk-level relevance benchmark exists for maternal-health guideline retrieval. We release two benchmarks tha…