Sanjit Singh Batra

新的基准MedicalBench评估LLM在隐式医学概念提取方面的能力

研究人员推出了MedicalBench，这是一个新的基准，旨在评估大型语言模型（LLM）从电子健康记录中提取医学概念的能力，特别关注隐式陈述的信息。该基准使用MIMIC-IV出院摘要和ICD-10代码构建，包括复杂的病例，如隐式阳性病例和语义混淆的阴性病例。初步评估显示，当前最先进的LLM在MedicalBench上的表现一般，表明在提取隐式表达的医学概念和证明其预测方面存在重大挑战。