Dwell

新的Dwell框架使视觉-语言智能体能够在潜在世界中学习

研究人员推出了一种新颖的基于模型的强化学习框架Dwell，该框架利用预训练的视觉-语言模型（VLMs）作为循环潜在状态转移算子。这种方法使智能体能够利用VLMs的内部表征进行策略改进，在其自身的潜在世界中进行学习和适应。Dwell在各种交互式视觉环境中取得了出色的性能，同时显著降低了与想象相关的计算成本，证明了VLMs智能体的有效世界模型需要预测有用的动作而不是重建未来。