Galaxy10

新的统计正则化器增强了自监督学习的稳定性

研究人员推出了一系列新的自监督学习（SSL）统计正则化器，旨在提高表示坍塌的预防能力。所提出的方法在分析上将随机投影整合到球面上，为最大均值差异（MMD）、核斯泰因差异（KSD）和库尔巴克-莱布勒（KL）散度直接在球面上提供了确定性目标。与现有的随机切片正则化器相比，这些技术提供了更稳定的优化和更快的收敛速度，在ImageNet和Galaxy10等数据集上显示出了一致的改进。