研究人员推出了MedicalBench,这是一个新的基准,旨在评估大型语言模型(LLM)从电子健康记录中提取医学概念的能力,特别关注隐式陈述的信息。该基准使用MIMIC-IV出院摘要和ICD-10代码构建,包括复杂的病例,如隐式阳性病例和语义混淆的阴性病例。初步评估显示,当前最先进的LLM在MedicalBench上的表现一般,表明在提取隐式表达的医学概念和证明其预测方面存在重大挑战。 AI
影响 该基准可以推动医疗保健行业更强大的LLM的发展,提高医学数据分析的准确性和可解释性。
排序理由 该条目描述了一个用于评估LLM在特定任务(医学概念提取)方面的新学术基准,包括一篇在arXiv上发表的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- ICD-10
- MedicalBench
- MIMIC-IV
- Sanjit Singh Batra
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →