Inverse Dynamics Prediction

通过逆向动力学预测改进用于世界建模的VLM

研究人员正在探索改进视觉语言模型（VLM）在世界建模方面的预测能力的方法。一个关键挑战是VLM在正向动力学预测（根据动作生成未来状态）方面存在困难，但在逆向动力学预测（描述状态之间的动作）方面更擅长。这种不对称性正被用于通过弱监督学习（来自标注数据）和推理时验证等技术来增强VLM的性能。这些方法旨在为具身AI应用创建更强大、更准确的世界模型，其中一些方法在图像编辑和策略评估方面显示出与最先进模型相媲美的结果。