Dual-Channel Grounded World Modeling

新的DCGWM架构可防止世界模型中的目标干扰崩溃

研究人员推出了一种新颖的双通道接地世界建模 (DCGWM) 架构，旨在防止联合嵌入预测架构 (JEPAs) 中的目标干扰崩溃 (OIC)。当从两种不同的数据类型（例如物理动力学和社会行为动力学）学习时，会发生 OIC，导致一个学习通道主导并降级另一个通道。DCGWM 通过使用具有内向梯度流的分区潜在空间来解决此问题，将物理和行为子空间分开。这种结构分离，结合特定的损失函数和隔离的生成渲染层，旨在为两个接地通道维护表征的完整性。