Libero
PulseAugur coverage of Libero — every cluster mentioning Libero across labs, papers, and developer communities, ranked by signal.
- developed World-Action Models 90%
- instance of World-Action Models 90%
- used by RoboTwin 2.0 70%
- used by World-Action Models 70%
- instance of LIBERO-Plus 70%
- used by LIBERO-Plus 70%
- instance of Vision Language Action (VLA) models 70%
- used by Vision Language Action (VLA) models 70%
- instance of roboTwin 70%
- developed by Openvla 70%
- used by LingBot-VA 70%
- used by Robotic Manipulation 70%
15 天有情绪数据
-
新的QWM框架通过世界模型增强强化学习
研究人员推出了一种新颖的QWM框架，该框架将世界模型与Q学习相结合，以提高强化学习的样本效率。该方法使用世界模型在想象的轨迹上进行测试时搜索，从而在不直接在预测状态上优化策略的情况下改进动作选择。QWM仅在真实转换上进行训练，从而避免了模型偏差的累积，并在RoboMimic和LIBERO等具有挑战性的操纵基准上展示了显著的性能提升。
-
SpecVLA框架提升具身AI中VLA模型的效率
研究人员开发了SpecVLA，一个用于协同设计算法和硬件架构的新框架，以提高具身AI中视觉-语言-动作（VLA）模型的效率。该方法利用了机器人环境在活跃和非活跃状态之间交替的观察，从而在非活跃期间进行推测性的长动作长度预测，并在活跃期间进行选择性验证。SpecVLA包括一个算法侧执行范式和一个较小的验证模型（sVLA），以及一个具有并行执行能力的系统侧异构架构。在LIBERO和ManiSkill等基准测试上的评估表明，SpecVLA在…
-
GaussMemory：用于任务驱动机器人记忆的新型3D高斯飞溅
研究人员推出GaussMemory，这是一种利用3D高斯飞溅进行任务驱动空间记忆的新型机器人操作方法。与以往的被动系统不同，GaussMemory在端到端学习过程中主动学习跟踪哪些对象、如何更新它们以及丢弃什么。这种主动记忆系统在LIBERO和VLABench等基准测试中表现出色，在长时程机器人任务中优于现有方法。
-
G0.5模型将机器人推理与行动整合到单一流中
研究人员推出G0.5，这是一种新颖的自回归视觉-语言-行动（VLA）模型，它在一个Transformer解码器中整合了推理和行动生成。这种方法使VLM能够充当决策者，而不仅仅是上下文编码器。G0.5利用了一个可学习的行动分词器，用于共享的行动词汇表，一个用于交错推理和行动的思维链流，以及一个用于历史上下文的视觉记忆模块。该模型在七个不同的机器人基准测试中表现出最先进的性能，包括真实世界的机器人和长时程操作任务。
-
RIFT 方法通过移除迭代视频推出，将机器人动作延迟削减
研究人员开发了 RIFT（Rollout-free Imagination via Future Tokens），一种用于世界动作模型（WAMs）的新颖方法，通过消除迭代视频推出显著降低了延迟。通过使用学习到的预期令牌在单次传递中构建未来的键/值缓存，RIFT 在机器人任务上保持了高成功率。这种方法在实现与传统的基于推出（rollout-based）的方法相当的性能的同时，大幅缩短了动作块（action-chunk）的延迟，并在 LI…
-
新的ForeWAM模型在无需未来视频解码的情况下预测机器人动作
研究人员开发了ForeWAM，一种新颖的世界动作模型（WAM），它通过以预测的未来状态为条件来增强机器人动作生成，而无需显式进行未来视频解码。该方法利用了Future-KV机制，该机制处理当前的视觉信息和未来的随机槽以生成层级键值状态。这些状态在整个动作去噪过程中被重复使用，使模型能够捕捉由交互引起的过渡，如物体运动和任务进展。ForeWAM在LIBERO和LIBERO-Plus等机器人基准测试中取得了高成功率，证明了其在动态环境中的…
-
New framework audits robot demonstration data for instruction-trajectory mismatches
研究人员开发了一个名为多模态概率融合（MMPF）的新框架，用于审计和纠正机器人演示数据集中细微的错误。这些错误被称为指令-轨迹不匹配（ITMs），当正确的机器人运动与不正确的语言指令配对时发生，可能破坏视觉-语言-动作策略的学习过程。MMPF将每种数据模态视为一个专家，估计任务标签分布，并使用预测熵加权融合这些模态，以提高检测和纠正的准确性。在LIBERO基准和真实机器人数据上的实验表明，MMPF在识别ITMs和增强下游策略学习方面是…
-
新的自适应VLA框架通过环境感知模型选择增强具身智能
研究人员开发了一个名为环境感知模型选择（EMS）的新框架，用于具身智能，该框架可以自适应地在两个不同的视觉-语言-动作（VLA）系统之间切换。这种方法将快速响应系统与慢速深思熟虑系统解耦，实现了模块化和灵活的系统替换。自适应切换策略根据实时反馈动态选择使用哪个系统，平衡了预训练知识的利用和运行时效率。EMS在LIBERO基准测试上已证明与更大的基线相当的成功率，同时显著提高了有效动作频率，并展示了在实际操作任务中的可扩展性。
-
DFM-VLA 引入了用于机器人操作的迭代动作精炼
研究人员推出 DFM-VLA，一种利用离散流匹配迭代精炼动作令牌的新型机器人操作方法。与先前一次生成固定令牌的方法不同，DFM-VLA 对概率速度场进行建模，以动态更新整个动作序列。该系统集成了度量对齐动作分词器 (MAAT) 和两阶段解码策略，以提高预测精度。在各种数据集和实际任务上的实验证明了这种迭代精炼技术的有效性。
-
新的 SAFECAST 系统增强了机器人领域 AI 故障检测能力
研究人员开发了 SAFECAST，这是一个旨在改进视觉-语言-动作 (VLA) 策略故障检测的新系统。通过利用对比集扰动，SAFECAST 增强了隐藏状态探针的训练和校准，使其在部署条件与训练环境不同时也能更加可靠。在 DROID 和 LIBERO 基准测试上的实验表明，与现有方法相比，SAFECAST 显著提高了故障检测的准确性，尤其是在同时采用视觉和语言扰动时。
-
新的RESample框架通过失败恢复数据改进机器人操作
研究人员开发了RESample，一个新颖的数据增强框架，旨在提高视觉-语言-动作（VLA）模型在机器人操作任务中的性能。该框架通过主动补充包含失败模式和后续恢复动作的轨迹来解决分布偏移和失败恢复问题。通过训练一个覆盖函数来识别数据分布中缺失的失败案例，RESample指导探索性采样来生成这些关键轨迹。在LIBERO基准和真实机器人任务上的实验表明，RESample显著提高了策略成功率，在训练数据适度增加的情况下，绝对增幅高达12%。
-
新的GUARD方法可检测扩散模型视觉-语言-动作策略的故障
研究人员开发了GUARD，一种用于检测扩散模型视觉-语言-动作（VLA）策略故障的新颖方法。GUARD在测试时通过分析模型键值缓存中特定token对生成动作的影响来工作。它通过创建关键条目被烧蚀的反事实场景，并将由此产生的去噪响应与原始响应进行比较来实现这一点。这种方法产生了敏感性、注意力熵、模态偏差和接地效率等诊断流，然后由一个轻量级的时间分类器处理以识别潜在的故障。
-
新研究整合世界模型以实现高效的具身AI控制
三篇新研究论文介绍了通过更有效地整合世界模型来增强具身AI控制的新方法。WorldSimProbe 专注于诊断动作条件世界模型的忠实度，确保其预测与物理现实一致。Enfold 提出一种将世界模型的生成计算内化到表示中的方法，显著降低了动作延迟。World Tokens 在训练过程中使用世界模型来改进动作预测，从而增强具身策略，并在推理时移除世界模型分支以保持高效部署。
-
DyPES-VLA模型增强了机器人跨不同具身的操作能力
研究人员推出了一种新颖的视觉-语言-动作（VLA）模型DyPES-VLA，旨在提高机器人跨不同具身的操作能力。该模型通过从多样化数据中学习共享动力学先验，并使用具身特定的专家混合（MoE）动作头，解决了当前VLA方法的局限性。这使得DyPES-VLA能够在无需手动转换动作格式的情况下，将共享先验转换为各种机器人的原生动作空间，并在LIBERO、RoboCasa-GR1和RoboTwin 2.0等基准测试中取得了最先进的性能。
-
Enfold 方法内化世界模型计算，实现更快的机器人控制
研究人员开发了一种名为 Enfold 的新方法，旨在通过内化世界生成模型的预测计算来改进机器人领域的具身控制。Enfold 的方法不渲染未来场景，而是使用仅当前编码器根据视觉上下文和语言指令预测未来表征。该方法显著降低了动作延迟，与现有方法相比提高了 10.1 倍，并展示了对现实世界干预的适应性。
-
PhyAI引擎统一边缘和云端的物理AI推理
研究人员开发了PhyAI，这是一个统一的推理引擎，旨在简化物理AI模型在各种平台上的部署，包括边缘设备和云环境。这个单一运行时旨在保持一致的检查点和动作语义，同时通过特定模型的适配器优化性能。PhyAI在几种视觉-语言-动作和世界-动作模型上展示了比现有实现显著的速度提升，尽管在某些配置下专用运行时可能仍提供更优越的性能。该引擎的架构允许在GPU上高效执行，详细的性能分析揭示了与延迟和不同模型生成主导相关的性能瓶颈。
-
World-to-Wrist VLA模型通过未来手腕建模增强机器人操控能力
研究人员开发了World-to-Wrist VLA (W2-VLA)，一种新颖的视觉-语言-动作模型，专为精细机器人操控而设计。该模型独特地结合了任务条件化的未来手腕建模，使其能够预测手腕层面的交互如何在更广泛的任务背景下演变。W2-VLA利用潜在建模令牌接口和称为W2-CoT的合成管道来提供辅助监督，增强其预测未来动作的能力。实验表明，W2-VLA在操控精度方面有所提高，并保持实时动作生成速度。
-
Faster-WAM 通过高效、通用的世界动作模型推进机器人操作 · 跟踪 3 个来源
研究人员开发了 Faster-WAM，一种新颖的世界动作模型（WAMs）方法，显著提高了机器人操作任务的推理速度和泛化能力。该方法在多篇 arXiv 论文中进行了详细介绍，引入了 Transformer 停靠（DoT）和稀疏未来条件框架等架构创新。这些进步使得 WAMs 即使在处理分布变化时，也能通过在没有高昂计算成本的情况下高效重用未来表示来保持性能和鲁棒性。实验表明，Faster-WAM 在 LIBERO 和 RoboTwin 2…
-
新的MUTE方法确保了自学习AI智能体网络中可靠的数据删除
研究人员开发了一种名为MUTE（Muting Unlearned Trajectories' Echoes，抑制未学习轨迹的回声）的新方法，以应对自学习联邦智能体网络中可靠删除数据的挑战。这些网络在部署后会持续训练，使得传统遗忘方法不足以应对数据影响的持续存在和重现。MUTE旨在通过估计下游影响、执行定向更新、隔离高影响数据以及审计未来行为来确保完全擦除，同时保留任务效用。
-
新的FBFM机制通过实时纠错增强机器人控制
研究人员推出了一种新颖的无训练机制FBFM，旨在提高世界-动作模型（WAMs）在长时程机器人控制任务中的可靠性。这种异步反馈方法将重新接地集成到主动生成的动作块中，而不仅仅是在块边界。通过使用先前的动作和后续的真实世界观察来指导下一个动作和帧的生成，FBFM在更精细的时间粒度上纠正错误，增强了对意外事件的响应能力，并减少了预测漂移。在LIBERO和RoboTwin2.0任务上对DreamZero和LingBot-VA WAMs的评估显…