PulseAugur
实时 12:21:50
English(EN) VISReg: Variance-Invariance-Sketching Regularization for JEPA training

新的VISReg方法提升了自监督视觉模型的训练

研究人员推出了一种新颖的自监督学习正则化技术VISReg,用于计算机视觉领域。该方法通过结合方差保持和基于切片-沃塞尔斯坦(Sliced-Wasserstein)的草图目标来强制执行分布形状,从而提高训练稳定性,解决了VICReg和SIGReg等先前方法的局限性。VISReg表现强劲,在ImageNet-1K上预训练后,在外分布数据集上取得了最先进的成果,并且在ImageNet-22K上,以显著更少的数据匹配了DINOv2的性能。 AI

影响 VISReg的性能提升和数据效率有望加速自监督视觉任务的进展,并降低计算成本。

排序理由 介绍自监督学习新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Haiyu Wu, Randall Balestriero, Morgan Levine ·

    VISReg: Variance-Invariance-Sketching Regularization for JEPA training

    arXiv:2606.02572v1 Announce Type: new Abstract: Self-supervised learning methods prevent embedding collapse via modeling heuristics or explicit regularization of the embedding space. Among the latter, VICReg decomposes regularization into variance and covariance objectives, offer…