MAR loss

新理论表明掩码图像建模对非独立同分布数据更具鲁棒性

一项新的理论分析探讨了分布式自监督学习（D-SSL）框架在面对非独立同分布（non-IID）数据时的鲁棒性。研究表明，与对比学习（CL）相比，掩码图像建模（MIM）对数据异质性更具弹性。此外，研究表明去中心化自监督学习的鲁棒性随着网络连接的增加而提高，这意味着联邦学习与去中心化学习一样鲁棒。为了增强MIM，该论文引入了MAR损失，它包含了局部到全局的对齐正则化，实验结果验证了理论发现和MAR损失的有效性。