ACT3D

ACT3D通过强化学习赋能视觉语言模型探索3D世界

研究人员开发了ACT3D，一种新颖的方法，使视觉语言模型（VLMs）能够利用强化学习主动探索3D环境。与以往的方法不同，ACT3D学习从单一第一人称视角进行导航和收集视觉信息，模仿人类探索而无需对探索行为进行直接监督。该方法显著提高了在3D基准测试中的答案准确性，其表现优于其基础Qwen模型以及Gemini 3.6 Flash等专有模型，同时使用的输入帧也更少。