grid-world navigation

新的RM-VLM方法使用LLM和VLM自动生成奖励机器

研究人员推出了一种新颖的方法RM-VLM，该方法利用大型语言模型（LLM）和视觉语言模型（VLM）从自然语言任务描述中自动生成奖励机器（RM）。该方法解决了在强化学习中手动设计RM的命题基础预言机（proposition-grounding oracles）的局限性。RM-VLM使用LLM创建RM，并使用VLM将其命题基础化于基于图像的观察中，从而实现RM指导的策略学习。与现有的基于VLM的奖励方法相比，该系统在网格世界导航、机器人操…