English(EN) GPAgentBench-2K: Benchmarking Large Language Model Agents in Complex Clinical Action Space

新基准揭示LLM代理在临床安全约束方面存在困难

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-01 04:00

一项名为GPAgentBench-2K的新基准测试已被开发出来，用于评估大语言模型（LLM）代理在复杂的临床决策场景中的表现。该基准测试利用基于真实世界GP（全科医生）就诊记录的约束马尔可夫决策过程（CMDPs），并结合了六种行动的临床工作流程和安全知情的弃权机制。对16个LLM的评估显示，随着行动空间的增加，性能显著下降，即使是表现最好的模型在超过一半的高风险案例中也未能满足安全约束。虽然约束强化学习方法与无约束方法相比提高了性能，但仍未能达到临床安全标准。 AI

影响凸显了LLM代理在医疗保健等复杂、现实世界应用中的关键安全差距。

排序理由该集群描述了一篇介绍用于评估特定领域LLM代理基准测试的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 29 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群描述了一篇介绍用于评估特定领域LLM代理基准测试的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, safety, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Boqi Chen, Xudong Liu, Yunke Ao, Heejin Do, Jianing Qiu · 2026-09-01 04:00

GPAgentBench-2K：在复杂临床行动空间中对大型语言模型代理进行基准测试

arXiv:2608.30188v1 Announce Type: new Abstract: Large Language Models (LLMs) show great potential as clinical agents, yet existing benchmarks reduce clinical workflows to static predictions or unconstrained Markov Decision Processes (MDPs) with coarse action sets. To address this…

本文如何被排名

报道来源 [1]

GPAgentBench-2K：在复杂临床行动空间中对大型语言模型代理进行基准测试

相关实体

相关话题