English(EN) WHBench: Evaluating Frontier LLMs with Expert-in-the-Loop Validation on Women's Health Topics

新基准揭示大语言模型在女性健康主题方面存在不足

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-27 04:00

一项名为WHBench的新基准已被开发出来，专门用于评估大语言模型（LLMs）在女性健康主题方面的表现。该基准由专家创建，包含47个场景，旨在识别关键性错误，如过时的医疗建议、不安全的遗漏和公平性问题。在对22个不同大语言模型进行测试时，没有一个模型的平均表现超过75%，即使是表现最好的模型也显示出显著的危害率和低准确率。 AI

影响突显了当前大语言模型在专业医学领域存在的关键安全性和公平性差距，为安全临床部署带来了进一步开发的必要性。

排序理由该集群描述了一篇介绍用于评估大语言模型的新型基准的学术论文。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Sneha Maurya, Spandana Govindgari, Girish Kumar, Akhara AI · 2026-07-27 04:00

WHBench: Evaluating Frontier LLMs with Expert-in-the-Loop Validation on Women's Health Topics

arXiv:2604.00024v2 Announce Type: replace Abstract: Large language models are increasingly used for medical guidance, but women's health remains under-evaluated in benchmark design. We present the Women's Health Benchmark (WHBench), a targeted evaluation suite of 47 expert-crafte…

报道来源 [1]

WHBench: Evaluating Frontier LLMs with Expert-in-the-Loop Validation on Women's Health Topics

相关实体

相关话题