Task-Adaptive Feedback

2D VLMs 通过新的基础和反馈框架得到增强，以适应 3D 任务

研究人员开发了一个名为 3D-Prog 的新框架，该框架增强了现有 2D 视觉语言模型 (VLMs) 的 3D 理解和操作能力。该框架引入了两个关键概念：用于统一 3D 表示的规范坐标框架 (CCF) 和用于迭代精化的任务自适应反馈 (TAF)。通过集成这些组件，2D VLMs 可以在无需重新训练的情况下执行各种 3D 任务，包括理解、操作和生成。