研究人员开发了 M4Bench,这是一个新的基准,旨在评估 AI 编码代理从临床电子健康记录中推导变量的能力。该基准使用 MIMIC-IV 和 eICU 数据,涵盖 15 个类别中的 28 个任务。使用 GPT 5.4 Mini 和 GPT 5.5 进行的初步测试表明,AI 技能将推导准确率提高了 0.136,其中规范完整性是最重要的因素。使用 Claude Code with Opus 4.7 和 Sonnet 4.6 进行的复制研究也取得了类似的积极结果,尽管完全完成任务仍然是一个挑战。 AI
影响 为评估 AI 处理复杂、现实世界临床数据推导任务的能力建立了新标准。
排序理由 该集群描述了一个用于评估 AI 代理在特定任务上能力的新的学术基准。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →