LocaLeJEPA

新的LocaLeJEPA框架通过几何先验改进了自监督学习

研究人员推出了LocaLeJEPA，一个用于自监督学习的新框架，解决了联合嵌入预测架构（JEPA）中的表示坍塌问题。与先前依赖欧几里得几何的方法不同，LocaLeJEPA通过使用流形理论重新构建JEPA的熵最大化特性来整合特定领域的几何先验。附带的LocaLeReg正则化器实现了稳定的实现，并且在ImageNet-1K上的实验表明，LocaLeJEPA在各种骨干模型和下游任务上的表现优于其前身LeJEPA。