一篇新研究发表在arXiv上，题为“偏好而非安全：成对偏好是临床安全性的糟糕代理指标”，调查了临床医生成对偏好在评估大型语言模型（LLM）临床安全性方面的可靠性。该研究分析了来自736多名临床医生的26,000多项判断，发现高度偏好排名靠前的模型常常仍然表现出显著的临床不安全或误导性内容。这些安全故障在不同医学专科之间并不统一，并且可能被汇总排名所掩盖。研究表明，评估实践应区分偏好和安全性，直接报告安全关键的故障率，并纳入用于医疗决策的LLM的临床调整排名。 AI
影响 强调了在临床环境中对LLM进行更稳健的安全评估方法的必要性，可能会影响医疗AI工具的开发和部署方式。
排序理由 在arXiv上发表的研究论文，详细介绍了关于LLM安全评估的发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
