Yujie Zhang

Ophiuchus 框架通过图像推理增强医学大模型

研究人员推出 Ophiuchus，一个旨在增强医学大语言模型（MLLMs）在需要视觉理解和推理的任务中的能力的新框架。这个工具增强的系统允许 MLLMs 动态识别、聚焦医学图像的特定区域，并将其整合到其多模态推理过程中。Ophiuchus 采用三阶段训练策略，包括自我反思和代理工具强化学习，以实现专家级的诊断行为。实验表明，Ophiuchus 在视觉问答、检测和分割的各种医学基准测试中均优于当前最先进的方法。