Abdul Basit

新工具包可自动创建基准，用于评估大型语言模型在医学知识方面的能力

研究人员开发了MS-Exam-Gen，这是一个旨在自动构建和审核选择题基准的工具包，用于评估大型语言模型（LLMs）在专业医学知识方面的能力。该框架侧重于评估LLMs对多发性硬化症MRI（MS-MRI）诊断标准、协议和鉴别诊断的理解，使用66个来源的语料库生成了3000多个候选问题。对12个LLM端点的初步评估显示，性能差异显著，准确率最高相差42.8个百分点，这凸显了在生物医学AI领域采用稳健、基于来源的评估方法的必要性。