Multimodal Clinical Challenge Point

新的MedRealMM基准评估大型语言模型在真实世界多模态医疗咨询中的表现

研究人员推出了MedRealMM，这是一个新的多模态基准，旨在评估大型语言模型（LLMs）在真实世界在线医疗咨询中的表现。与以往通常使用合成数据或省略视觉信息的基准不同，MedRealMM使用了来自中国一家互联网医院的去标识化医患互动数据，同时包含文本和医学图像。该基准采用了一个框架来识别具有挑战性的临床时刻，并根据医生精炼的评分标准评估LLM的响应，结果表明，尽管当前前沿模型能力强大，但在安全敏感的错误规避方面仍存在困难。