Leo Nicollier
PulseAugur coverage of Leo Nicollier — every cluster mentioning Leo Nicollier across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的正则化方法解决自监督学习中的偏见问题
研究人员推出了一种名为无偏开放世界正则化（UOWReg）的新型框架，旨在减轻自监督学习（SSL）和联合嵌入预测架构（JEPAs）中的偏见。与使用全局正则化的先前方法不同，UOWReg 侧重于条件分布匹配，确保学习到的表示与目标属性之间的统计独立性。该方法在 CelebA 等基准测试中有效减少了偏见违规行为，同时保持了具有竞争力的准确性。此外，UOWReg 在防止复杂场景（如新提出的合成雕刻任务）中的亚群崩溃方面显示出潜力，通过有效分离细微特征。
-
新的统计正则化器增强了自监督学习的稳定性
研究人员推出了一系列新的自监督学习（SSL）统计正则化器，旨在提高表示坍塌的预防能力。所提出的方法在分析上将随机投影整合到球面上，为最大均值差异（MMD）、核斯泰因差异（KSD）和库尔巴克-莱布勒（KL）散度直接在球面上提供了确定性目标。与现有的随机切片正则化器相比，这些技术提供了更稳定的优化和更快的收敛速度，在ImageNet和Galaxy10等数据集上显示出了一致的改进。
-
SPHERE-JEPA框架优化超球体上的自监督学习
研究人员推出了SPHERE-JEPA，一个旨在解决表示几何局限性的新型自监督学习框架。与先前假设欧几里得空间和高斯嵌入的方法不同，SPHERE-JEPA专为超球体等流形上的分布而设计。该框架从理论上证明了超球体均匀性对于某些回归和k近邻任务是最优的，纠正了高斯先验引入的偏差。在实践中，SPHERE-JEPA显示出显著的改进，包括纹理检索性能提升6%，ImageNet-1K性能提升1.8%。