PairDist

新理论将JEPA世界模型与SIGReg目标下的主动推理联系起来

一篇新的理论论文提出，当SIGReg目标用作联合嵌入预测架构（JEPA）中的反崩溃正则化器时，它可以作为主动推理（AIF）的有效变分自由能。该研究将四种非对比正则化器（VICReg、LogDet、PairDist和SIGReg）归类到熵估计器层次结构中，展示了SIGReg如何消除先验失校差距。这使得JEPA目标成为一个精确的信息瓶颈和AIF实用价值的代理，而其他正则化器则留下不可约项。