English(EN) WHBench: Evaluating Frontier LLMs with Expert-in-the-Loop Validation on Women's Health Topics

新基准揭示大语言模型在女性健康主题方面存在不足

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-27 04:00

一项名为WHBench的新基准已被开发出来，专门用于评估大语言模型（LLMs）在女性健康主题方面的表现。该基准由专家创建，包含47个场景，旨在识别关键性错误，如过时的医疗建议、不安全的遗漏和公平性问题。在对22个不同大语言模型进行测试时，没有一个模型的平均表现超过75%，即使是表现最好的模型也显示出显著的危害率和低准确率。 AI

影响突显了当前大语言模型在专业医学领域存在的关键安全性和公平性差距，为安全临床部署带来了进一步开发的必要性。

排序理由该集群描述了一篇介绍用于评估大语言模型的新型基准的学术论文。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群描述了一篇介绍用于评估大语言模型的新型基准的学术论文。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, safety; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 50 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Sneha Maurya, Spandana Govindgari, Girish Kumar, Akhara AI · 2026-07-27 04:00

WHBench：在女性健康主题上利用专家参与的验证来评估前沿大型语言模型

arXiv:2604.00024v2 Announce Type: replace Abstract: Large language models are increasingly used for medical guidance, but women's health remains under-evaluated in benchmark design. We present the Women's Health Benchmark (WHBench), a targeted evaluation suite of 47 expert-crafte…

本文如何被排名

报道来源 [1]

WHBench：在女性健康主题上利用专家参与的验证来评估前沿大型语言模型

相关实体

相关话题