一项对6,342名医疗专业人员的127,000多项查询进行的分析显示，大型语言模型（LLM）的评估方式与其在临床中的实际使用方式存在显著差异。研究发现，文档记录和知识检索等常见任务占查询的大部分，而诊断任务则很少见。此外，超过三分之一的实际查询无法得到充分解答。当将该研究的框架应用于58个现有基准时，发现这些评估与实际临床使用任务的构成仅有31%的重叠，这表明当前的基准分数可能无法准确反映LLM在真实医疗环境中的表现。 AI
影响 当前的LLM基准可能无法准确反映其在临床环境中的效用，因此有必要转向能够模拟真实医疗任务的评估。
排序理由 该集群包含一篇详细介绍新研究和分析的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
