FIXED-RANDPERM

研究：非最大概率映射影响S-JEPA编码器表示

一篇新研究论文探讨了在S-JEPA编码器表示中，将非最大概率映射到高斯混合模型（GMM）分量的重要性。该研究引入了两种对照方法，FIXED-RANDPERM和UNIFORM-TAIL，与“REAL SOFT”方法进行比较。结果表明，REAL SOFT在恢复原始GMM尾部和访问谱动力学方面优于对照组，这表明仅靠数值概率结构是不够的；非最大概率的具体映射也会影响学习到的编码器表示。