anatomical regions

Jolia 模型通过概念级视觉-语言对齐增强 3D CT 分析

研究人员开发了 Jolia，一种新颖的 3D CT 基础模型，可增强医学影像的视觉-语言对齐。与标准的 CLIP 风格预训练不同，Jolia 使用一种称为 ConQuer（概念查询）的方法，为放射学报告中的特定概念创建局部对齐。这种方法使模型能够更好地捕捉冗长医学文本中的细节，并通过为每个概念生成注意力图来提供内置的空间可解释性。Jolia 在分类和报告生成等任务的各种基准测试中表现出色，优于基线模型。