Latent Bridge Queries

BridgeWAM 将视频和动作专家解耦，以实现高效的动作预测

研究人员开发了 BridgeWAM，一种新颖的世界动作模型（WAMs）方法，该方法通过潜在桥接查询将视频和动作专家解耦。该方法通过允许动作预测专注于相关的视觉特征并减少冗余计算，从而提高了效率和泛化能力。BridgeWAM 利用共享的潜在空间来容纳各种先验信息，使动作梯度能够指导视频专家，并使动作专家能够选择性地检索信息。与以前的方法相比，最终模型在 LIBERO 和 LIBERO-Plus 等基准测试中取得了很高的成功率，并显著减少…