MS-Exam-Gen

新框架生成 MS-MRI 知识基准以评估 LLM

研究人员开发了 MS-Exam-Gen，一个用于创建和审计基于文本的多项选择题基准的框架，专门用于评估大型语言模型 (LLM) 在多发性硬化症 MRI (MS-MRI) 知识方面的能力。该系统旨在评估 LLM 对 MS-MRI 领域内当前诊断标准、报告标准和鉴别诊断的理解。该框架从 66 个来源的语料库中生成了 3,058 个问题的基准，显示了 12 个 LLM 端点之间显著的性能差异，其中一些项目被相当一部分模型遗漏。