The Scaffold Effect

临床VLM评估显示提示框架存在“支架效应”

一篇题为“支架效应：提示框架如何驱动临床VLM评估中看似的多模态收益”的新研究论文，揭示了在临床环境中评估视觉语言模型（VLM）性能时存在的一个重大问题。研究发现，当评估临床神经影像数据时，较小的VLM表现出显著的性能提升，F1分数最高可达58%。然而，这种提升很大程度上归因于提示中仅仅提及神经影像学背景，这种现象被称为“支架效应”，而非真正的证据整合。专家评估还揭示了捏造的诊断理由，表明当前的评估方法可能无法准确反映真实的多模态推理能力。