Philipp Wesp

稀疏自编码器增强医学影像基础模型的可解释性

研究人员开发了稀疏自编码器（SAEs），以提高医学影像基础模型对临床医生的可解释性。通过在大量CT和MRI切片数据集上使用BiomedParse和DINOv3的嵌入来训练SAEs，研究发现SAEs能够高保真地重建原始嵌入，并在维度大大降低的情况下保留显著的下游性能。学习到的稀疏特征对应于特定的、可以用语言表达的概念，从而实现由语言驱动的图像检索，并弥合临床语言与抽象模型表示之间的差距。