研究人员开发了VAORA(视觉动作结果推理对齐),这是一种旨在提高视觉语言模型(VLM)物理推理和任务泛化能力的新奖励设计。该方法解决了两个主要的失效模式:与物理定律相矛盾的幻觉推理,以及模型推理与其动作之间的脱节。VAORA使用两种奖励将VLM推理锚定到视觉上下文和动作结果上,从而抑制不正确的推理并将行为与思维过程对齐。在PHYRE和Virtual Tool数据集上的实验证明了VAORA在新型任务和环境中的有效性。 AI
影响 增强了VLM在物理推理和泛化方面的能力,有望提高其在机器人和交互式AI任务中的性能。
排序理由 该集群包含一篇详细介绍改进AI模型新方法的论文。
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- ScienceCast
- Vision-language models
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →