Kernel-Guided Feature Transform

新的双流形几何方法增强深度学习表征

研究人员提出了一种新颖的双流形视角用于深度表征学习，重点关注网络参数内的几何结构。该方法提出了一种核引导特征变换（KGFT）模块，它利用卷积滤波器的几何结构来指导特征表征的演变。KGFT通过将几何信息从核流形传递到数据流形，显式地重塑特征关系，从而在不施加过多约束的情况下增强表征学习。在ResNet、ViT和LLaMA-7B等各种架构上的实验表明，在图像分类和算术推理任务上取得了持续的改进，证明了该方法的通用性和有效性。