Phi-3.5-Vision-Instruct

清华大学与英伟达的具身AI评估：Gemini领先，GPT落后

来自国立清华大学和英伟达的研究人员开发了一个名为VLM-AR3L的新框架，用于评估视觉语言模型（VLMs）在具身智能任务中的性能。在他们的研究中，Gemini 2.0在各种任务中表现强劲，而GPT-4.1则显示出局限性。该框架通过使用VLMs进行离线标注，并训练更小、更轻量级的网络以实现实时指导，从而解决了高API成本和延迟的挑战。VLM-AR3L结合了绝对奖励和相对奖励，为强化学习代理提供全局方向和细粒度进度评估。