S.O.A.P.

新的虚拟环境评估大型语言模型在精神科临床问诊中的表现

研究人员开发了MentalHospital，一个新颖的虚拟环境，旨在评估大型语言模型（LLMs）在模拟完整的精神科临床问诊中的表现。该环境遵循主观问诊、客观检查、诊断评估和治疗计划（S.O.A.P.）工作流程，利用来自一千多个去标识化电子健康记录案例的标准患者。为了扩大专家判断的规模，他们还创建了MentalEval，一套使用监督微调和直接偏好优化训练的五个领域特定评估器，这些评估器与人类临床医生表现出高度一致性。