Cochrane Risk of Bias (RoB) 2.0

新基准显示大型语言模型尽管准确率高，但在医学逻辑方面仍有困难

一项名为LogiMed-RoB的新基准测试已被开发出来，用于评估大型语言模型（LLMs）在医学风险偏倚评估中的逻辑一致性。该基准测试基于Cochrane Risk of Bias 2.0专家逻辑，结果显示，尽管顶级模型可以实现高原子一致性，但它们的整体逻辑一致性却显著下降。研究还强调了一个模型检索到良好证据但未能推断出正确结果的差距，这表明存在关键的推理缺陷，在临床使用中需要进行白盒验证。