AcuityBench

新的AcuityBench基准评估LLM医疗紧急情况识别能力

研究人员推出AcuityBench，一个旨在评估大型语言模型准确识别用户提出的医疗情况紧急程度能力的新基准。与关注问答或分诊的现有健康基准不同，AcuityBench将五个数据集整合到一个统一的四级敏锐度框架中，涵盖914个病例。对12个前沿模型进行的初步测试显示，性能存在显著差异，模型在过度分诊和分诊不足之间存在权衡，具体取决于响应格式。该基准还强调，当前模型在模糊病例上的判断与医生不符，并且不确定性表达不够细致。