PulseAugur
实时 09:36:57
English(EN) ORCESTRA: VLM-driven Visual Robot programming in Mixed Reality

新的混合现实系统ORCESTRA支持VLM驱动的机器人编程

一个名为ORCESTRA的新混合现实系统已被开发用于编程机器人数字孪生。该系统允许用户在直通式混合现实环境中与机器人孪生进行交互,从而能够通过语音或文本教授轨迹、保存机器人相关的情节或发出指令。然后,视觉语言模型会将这些指令转换为数字孪生的结构化计划。ORCESTRA支持各种机器人形态,包括固定基座机械臂、移动基座和人形机器人,并将混合现实用作物理部署前的安全层。 AI

影响 该系统可以通过自然语言指令和可视化界面简化机器人编程,有可能加速其在各种机器人应用中的采用。

排序理由 该条目描述了一篇研究论文,其中详细介绍了一个新的机器人编程系统。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的混合现实系统ORCESTRA支持VLM驱动的机器人编程

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Ivan Snegirev, Elizaveta Semenyakina, Mikhail Konenkov, Artem Lykov, Miguel Altamirano Cabrera, Dzmitry Tsetserukou ·

    ORCESTRA: VLM-driven Visual Robot programming in Mixed Reality

    arXiv:2608.00775v1 Announce Type: cross Abstract: ORCESTRA is a mixed-reality system for programming robot digital twins through no-code waypoint teaching and language-guided control. In a passthrough mixed-reality workspace, users place robot twins on real surfaces, teach trajec…