实体
AfriMed-QA
AfriMed-QA
PulseAugur coverage of AfriMed-QA — every cluster mentioning AfriMed-QA across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新的RMS-RSP方法改进了医学问答数据集的解释选择
研究人员开发了一种名为均方根鲁棒性样本优先排序（RMS-RSP）的新方法，以解决医学问答数据集中高质量解释稀缺的问题。该技术侧重于在固定令牌预算内选择哪些已标记的问题应获得解释监督。虽然与随机选择相比，RMS-RSP显示出适度的平均准确性提升，但在针对格式更改进行测试时，它在五个医学问答数据集上的鲁棒准确性和语义一致性得到了显著改善。
-
New benchmarks and evaluation methods for health LLMs emerge
研究人员开发了AfriMed-QA，这是一个用于评估大型语言模型（LLMs）在非洲健康问答任务上表现的新基准数据集。该数据集与非洲组织合作创建，并得到了盖茨基金会的支持，包含了来自16个非洲国家的消费者查询和医学院考试问题。此外，还引入了一种新的自适应且精确的评分标准方法，以简化健康语言模型的评估，旨在提高可扩展性和评分者间一致性。另外，一项研究探讨了使用LLMs为公共卫生建模生成合成调查回复，发现虽然LLMs可以重现人口统计和行为模…
-
新的基准和框架出现，用于评估医疗领域的大语言模型
研究人员开发了新的基准和框架来评估大语言模型（LLMs）在医疗领域的性能，解决了现有数据集的局限性。Google Research 推出了 AfriMed-QA，这是一个用于非洲健康问答的综合数据集，以及一个使用自适应精确布尔评分标准评估健康 LLMs 的可扩展框架。此外，新的研究探索了多模态 LLMs 的以实体为中心的数据工程以及大规模荷兰医疗语言语料库的创建。