新的 RealICU 基准测试对长上下文 ICU 数据进行 LLM 智能体测试

研究人员开发了 RealICU，这是一个旨在评估大型语言模型智能体在重症监护室 (ICU) 环境中推理能力的新基准。与依赖临床医生行为作为真实情况的先前基准不同，RealICU 使用资深医生回顾完整患者病史的滞后标注来创建更准确的标签。该基准测试包括评估患者状况、识别急性问题和标记不安全行为等任务。初步测试表明，即使是具有记忆增强功能的当前 LLM，表现也很差，突显了回忆-安全权衡和锚定偏差方面的问题。 AI

影响 为评估 LLM 在高风险医疗场景中的决策支持能力建立了一个新的、更严格的基准。

排序理由 介绍用于评估特定领域 LLM 智能体新基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• ICU-Evo
• ICU
• LLM agents
• MIMIC-IV
• Oracle
• RealICU

• 论文
• 安全
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →