Vision-Language Models (VLM)

新框架增强具身代理的复杂操作能力 · 跟踪2个来源

两篇新的研究论文介绍了一种使具身代理能够执行长时程操作任务的框架。Cortex 使用一种双向对齐的具身代理框架，并带有定制的规划接口，将高层视觉语言模型（VLMs）的可执行子任务计划传达给低层视觉语言动作（VLA）模型。ACE 是另一个框架，它采用零样本工作流推理来进行桌面操作，将代理推理与可执行技能以及用于适应动态环境和执行失败的多时间尺度记忆相结合。这两种方法都旨在克服当前模型在处理复杂、多步任务方面的局限性。