UserLM-8B

新的MTDiag数据集评估LLM在多轮临床诊断中的表现

研究人员开发了MTDiag，这是一个新的多轮诊断对话数据集，旨在更好地评估大型语言模型（LLM）在临床环境中的表现。与静态基准测试不同，MTDiag通过从DDXPlus、MIMIC-IV和AJCR病例报告中提取数据，模拟了医疗诊断的交互式和渐进式性质。该数据集使用UMLS和ICD-10等医学知识库进行标准化，并包含一个用于生成自然语言语句的管道。该计划旨在评估LLM作为诊断代理的能力，超越简单的准确性，引入临床基础的指标来评估多轮鉴别诊断。