Deep Reprogramming Distillation

新的深度重编程蒸馏框架增强了医学人工智能模型

研究人员引入了一个名为深度重编程蒸馏（DRD）的新框架，以应对将大型医学基础模型适应特定下游任务的挑战。DRD利用一种新颖的重编程模块来弥合预训练和专业场景之间的差距，从而能够将知识高效地迁移到轻量级学生模型。此外，还采用了一种居中核对齐蒸馏方法，以确保在各种训练条件下进行稳健的知识迁移。实证结果表明，DRD在18个医学下游任务上的表现优于现有方法，包括2D和3D数据的分类和分割。