研究人员开发了MTDiag，这是一个新的多轮诊断对话数据集，旨在更好地评估大型语言模型（LLM）在临床环境中的表现。与静态基准测试不同，MTDiag通过从DDXPlus、MIMIC-IV和AJCR病例报告中提取数据，模拟了医疗诊断的交互式和渐进式性质。该数据集使用UMLS和ICD-10等医学知识库进行标准化，并包含一个用于生成自然语言语句的管道。该计划旨在评估LLM作为诊断代理的能力，超越简单的准确性，引入临床基础的指标来评估多轮鉴别诊断。 AI
影响 该数据集及其相关指标可能导致在医疗保健领域对LLM进行更稳健的评估，提高其在诊断任务中的可靠性。
排序理由 该集群描述了一个用于在特定研究领域（临床诊断）评估LLM的新数据集和方法，该方法发表在一篇学术论文中。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
