实体 GPAgentBench-2K

GPAgentBench-2K

PulseAugur coverage of GPAgentBench-2K — every cluster mentioning GPAgentBench-2K across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_229100 · Sep 1 · 04:00

新基准揭示LLM代理在临床安全约束方面存在困难

一项名为GPAgentBench-2K的新基准测试已被开发出来，用于评估大语言模型（LLM）代理在复杂的临床决策场景中的表现。该基准测试利用基于真实世界GP（全科医生）就诊记录的约束马尔可夫决策过程（CMDPs），并结合了六种行动的临床工作流程和安全知情的弃权机制。对16个LLM的评估显示，随着行动空间的增加，性能显著下降，即使是表现最好的模型在超过一半的高风险案例中也未能满足安全约束。虽然约束强化学习方法与无约束方法相比提高了性能，…