新的MEDIC框架评估大型语言模型在临床中的安全性和实用性

一个名为MEDIC的新评估框架已被开发出来，用于评估大型语言模型（LLMs）在临床环境中的安全性和实用性。该框架超越了传统的执照考试基准，通过五个维度评估功能能力，包括确定性执行和用于量化信息保真度和幻觉率的新型交叉检查框架（CEF）。评估显示，大型语言模型在知识检索能力与其在临床计算或SQL生成等操作任务上的表现之间存在显著差距。此外，针对高拒绝率优化的模型并未持续展示出通过可靠检测临床文档错误来实现的主动安全性，这表明在医疗保健领域部署大型语言模型需要采用组合方法。 AI

影响 该框架通过突出关键性能差距，可以指导在医疗保健领域开发和部署更安全、更有效的LLMs。

排序理由 这是一篇研究论文，详细介绍了在特定领域中用于LLMs的新评估框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• Cross-Examination Framework
• DagsHub
• Gotit.pub
• Hugging Face
• Large Language Models
• LLMs
• Praveenkumar Kanithi
• ScienceCast
• SQL

• 论文
• 安全
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →