一个名为 Safe-Psych 的新基准已被开发出来，用于评估大型语言模型（LLMs）在精神病学中处理诊断不确定性的能力。该基准包含超过 1,000 份真实的精神病学笔记，模拟了证据的逐步披露，并在每个阶段分配 DIAGNOSE、CLARIFY 或 ABSTAIN 等标签。评估显示，即使是先进的大型语言模型在面对不完整的临床信息时也面临困难，常常过早诊断，并且除非被提示，否则很少寻求澄清。这表明当前模型在识别何时需要更多证据以做出安全准确的临床决策方面存在重大局限性。 AI
影响 凸显了大型语言模型在医疗保健领域存在的关键安全隐患，亟需对校准和循证决策进行进一步研究。
排序理由 该集群包含一篇介绍新基准以评估大型语言模型的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
