Consecutive Cross-Resolution Attention

新的基础模型通过多分辨率图像分析推动计算病理学发展

研究人员开发了多分辨率金字塔Transformer (MRPT)，这是一种专为计算病理学设计的新型基础模型。该模型通过在细胞、组织和WSI层面跨多个分辨率分层聚合信息，有效地处理吉像素全切片图像。MRPT利用连续跨分辨率注意力机制捕捉尺度无关的交互，并强制跨分辨率的语义一致性，从而产生鲁棒的WSI表示。MRPT在大规模数据集上进行了预训练，在癌症亚型分类和WSI理解等各种任务中，其性能优于现有的基础模型和多模态大语言模型。