HealthBench Professional
PulseAugur coverage of HealthBench Professional — every cluster mentioning HealthBench Professional across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新基准SEER-Bench测试LLM医学知识更新能力
研究人员开发了SEER-Bench，这是一个用于评估大型语言模型更新医学知识能力的新基准。该基准使用肿瘤分期数据和NCCN指南，在匹配的训练预算下测试模型。结果表明，“EMQ”监督格式对于稳定的知识更新和保留最有效，优于MSQ、FITB和SAQ等其他格式。使用EMQ监督训练的4B模型在时间锚定的肿瘤分期任务上取得了具有竞争力的准确性。
-
OpenAI、Moonshot、Anthropic 发布旗舰模型；基准测试显示各有千秋
OpenAI、Moonshot AI 和 Anthropic 公司迅速发布了各自最新的旗舰模型：GPT-5.6 Sol、Kimi K3 和 Claude Opus 5。这三款模型都提供了巨大的上下文窗口和有竞争力的定价，但性能基准测试揭示了细微的差异。Claude Opus 5 在 SWE-bench Pro 等编码任务和 ARC-AGI-3 等推理基准测试中表现领先，而 GPT-5.6 Sol 在智能终端任务以及 DeepSWE 1…
-
新的 AI 方法提升了机器学习的可复现性和临床诊断能力
研究人员正在开发新方法来提高机器学习模型的可复现性和基准测试能力，特别是在机器学习健康智能和临床诊断等专业领域。一种方法侧重于基于智能体、基于框架的复现，通过明确记录假设来将研究论文转化为可比较的基准实现。另一项开发 MDIA 是一个多智能体诊断智能流水线，它利用专门的路由图来提高在临床基准测试上的性能，表明除了底层语言模型之外，架构设计也显著影响结果。
-
OpenAI 的 ChatGPT for Clinicians 在测试中表现优于医生，加速医疗 AI 战略
OpenAI 推出了 ChatGPT for Clinicians，这是一个专为协助医疗专业人员设计的专业 AI 平台。在临床试验中，该平台得分 59.0，显著优于得分 43.7 的人类医生。这一新工具旨在减轻医疗服务提供者的行政负担，并改善对医学知识的获取。