新的CLAP方法通过语言-动作对齐将VLMs适配到VLAs

研究人员开发了CLAP（因果语言-动作预测）方法，这是一种新颖的方法，可以通过最小的架构更改将预训练的视觉语言模型（VLM）适配为视觉语言动作模型（VLA）。CLAP通过在数字动作序列前添加自然语言动作描述来解决输出分布不匹配的挑战，从而将精确的动作预测条件化为语言-动作计划。这种方法允许通过单周期微调实现有效的VLM到VLA能力迁移，在LIBERO等基准测试中展示了显著的性能提升，并增强了对各种扰动的鲁棒性。 AI

影响 能够更直接地将VLM能力迁移到机器人控制任务，可能加速开发更强大、更易于理解的机器人代理。

排序理由 该项目是一篇研究论文，详细介绍了一种将视觉语言模型适配为视觉语言动作模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• CatalyzeX
• CLAP
• DagsHub
• Gotit.pub
• Hugging Face
• LIBERO
• LIBERO-PRO
• ScienceCast
• vision-language-action models
• vision-language model

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →