研究人员开发了 MS-Exam-Gen，一个用于创建和审计基于文本的多项选择题基准的框架，专门用于评估大型语言模型 (LLM) 在多发性硬化症 MRI (MS-MRI) 知识方面的能力。该系统旨在评估 LLM 对 MS-MRI 领域内当前诊断标准、报告标准和鉴别诊断的理解。该框架从 66 个来源的语料库中生成了 3,058 个问题的基准，显示了 12 个 LLM 端点之间显著的性能差异，其中一些项目被相当一部分模型遗漏。 AI
影响 该框架可以实现对 LLM 在专业医学领域更严格的评估，突出它们在理解复杂、不断发展的知识方面的能力和局限性。
排序理由 该项目描述了一个用于构建和审计特定领域医学知识 LLM 评估基准的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
