对临床代理基准测试的一项新审计发现,这些基准测试的构建方式存在严重问题,可能夸大了人工智能诊断代理的性能。研究人员发现,案例文本的总结方式和实验室结果的模拟方式可能引入“事后诸葛亮偏见”,即诊断时无法获得的信息被无意中包含在内。这种偏见,尤其是在案例文本总结中,显著提高了几个大型语言模型的零样本准确率,表明当前的基准测试结果可能无法准确反映实际性能。 AI
影响 人工智能诊断代理的当前基准测试可能因构建偏见而高估了其能力,需要修订评估实践。
排序理由 学术论文,详细介绍了新的审计方法和对人工智能基准测试的发现。[lever_c_demoted from research: ic=1 ai=1.0]
- arXivLabs
- Case Construction Equipment
- Clinical Agent Benchmarks
- Hindsight
- Large Language Models
- MIMIC-IV
- Simulators
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →