Chang Hong

新的基准 PrinciplismQA 评估大型语言模型在临床伦理方面的一致性

研究人员开发了 PrinciplismQA，这是一个旨在评估大型语言模型（LLMs）在临床医学背景下伦理推理能力的新基准。该方法将其评估建立在已建立的哲学框架，特别是原则主义之上，并包含超过 3,600 个专家验证的问题。使用 PrinciplismQA 进行的初步评估显示，当前的大型语言模型存在显著的伦理推理差距，即使是在基于知识的任务上准确率很高，这也表明仅进行知识训练并不能保证在临床决策中的伦理一致性。