HierViT

新型分层视觉Transformer增强医学图像分类的可解释性

研究人员开发了HierViT，这是一种用于可解释医学图像分类的分层视觉Transformer。该模型不仅实现了具有竞争力的预测准确性，还提供了多种理解其决策过程的机制。HierViT首先识别临床相关的视觉属性，然后通过分层推理结构来指导最终诊断。为了增强可解释性，该系统将属性原型可视化为代表性图像示例，并使用属性特定的注意力图突出显示图像区域，将这些特征与语义定义的视觉特征联系起来。