15 LLMs

研究发现：大型语言模型临床错误检测基准存在缺陷

一项新的研究论文强调了评估大型语言模型（LLMs）在临床错误检测方面存在重大缺陷。研究发现，在测试的15个LLMs中，有13个在成对判别中的表现低于随机猜测水平，尽管它们取得了中等的F1分数。这表明，当前通常独立评估笔记的基准，对于安全关键型应用可能具有误导性。研究还注意到LLM表现中存在的语言特定偏见，并提出成对评估作为一种更稳健的评估方法。