WebSSL

新的生成式方法改进了AI模型的潜在标记化

研究人员开发了一种新颖的自监督表示学习方法，用于生成模型中的可扩展潜在标记化。该方法使用表示损失，通过估计学习到的生成模型中的条件预测之间的信息差异来分解互信息。在经验上和理论上，它都避免了维度坍塌和特征抑制，性能优于DINO和LeJEPA等方法。该技术具有可扩展性，计算量的增加可以带来潜在标记化的改进，并且在像素空间生成方面，相对于直接扩散，展示了计算最优的改进。