FastWAM
PulseAugur coverage of FastWAM — every cluster mentioning FastWAM across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
UniWALM模型统一视频、动作和语言以实现机器人控制
研究人员推出UniWALM，这是一种将视频、动作和语言处理统一在单一Transformer骨干网络中的新型模型。该方法旨在通过允许模态同步去噪，在动作解码的同时并行生成文本记忆和子任务信息，从而增强机器人控制能力。该模型采用了一种新的训练目标——带校正的流匹配（FMC），以提高动作轨迹的可靠性。UniWALM在MolmoSpaces和RMBench等基准测试中表现出显著的改进，并通过生成文本记忆显著提高了现实世界中的“寻找物品”任务的成功率。
-
新型对抗性攻击TAPDreamer削弱了机器人世界动作模型
研究人员开发了TAPDreamer，一种针对机器人领域世界动作模型的新型对抗性攻击。该攻击生成固定的局部扰动，可应用于摄像头输入，显著降低这些模型的性能。与以往的攻击不同，TAPDreamer不需要访问目标模型的输出来创建可迁移的对抗性补丁，而是利用公共编码器来创建这些补丁。这些补丁覆盖输入的大约6.5%，在LIBERO和RoboTwin等基准测试中大幅降低了成功率，证明了机器人控制系统中共享视觉编码器的脆弱性。
-
新的世界动作模型通过因果语义和多模态预测增强泛化能力
研究人员开发了新的世界动作模型（WAMs），它们在视觉分布变化下提高了泛化能力。第一个模型CSWAM集成了基于V-JEPA 2.1构建的因果语义专家，以更好地表示语义状态变化和运动，显著提高了真实机器人实验的成功率。第二个模型ModAR自回归地去除了RGB之外的多种未来模态的噪声，例如深度图和点轨迹，展示了在训练FLOPs显著减少且无需预训练的情况下性能更优。
-
新DECOWAM模型通过解耦动作增强机器人操作能力
研究人员开发了DECOWAM，一种专为有腿移动操作设计的新型世界-动作模型。该模型区分了相机自身运动与基座/手臂动作，从而改进了未来的视频和动作预测。DECOWAM在动作均方误差（MSE）方面降低了21.7%，并在真实世界试验中展示了强大的全身协调能力。
-
新的SoftVTBench数据集评估可变形物体操作中的物理交互
研究人员推出了SoftVTBench，这是一个新的数据集和基准，旨在评估可变形物体操作中物理交互的质量。该数据集将视觉观察与触觉数据配对，从而更全面地了解机器人策略如何与软体物体交互。该基准不仅衡量任务完成情况，还衡量物体变形的程度，揭示了当前策略在任务中常常成功，但仍会导致过度变形。
-
LeRobot v0.6.0 增加了世界模型、新的 VLA 和改进的数据集
LeRobot v0.6.0 已发布，在机器人 AI 领域取得了重大进展。此次更新引入了 VLA-JEPA、FastWAM 和 LingBot-VA 等新的世界模型策略，使机器人能够“想象”未来的场景。它还通过 GR00T N1.7 和 MolmoAct2 等多个新的视觉-语言-动作 (VLA) 模型扩展了模型库，并引入了用于奖励模型的新 API。数据集管道的增强功能包括更快的加载和深度支持，以及新的模拟基准和改进的训练能力。
-
AttenA+ 框架通过优先处理关键动作来增强机器人基础模型
研究人员推出了一种名为 AttenA+ 的新颖框架，旨在提高机器人基础模型的性能。这种与架构无关的方法通过基于机器人动作速度的倒数重新加权目标函数来解决训练中的时间同质性问题。通过优先处理运动学上关键的、低速的运动，AttenA+ 使模型的学习与操作的物理需求保持一致。实验表明，在 Libero 和 RoboTwin 2.0 等基准测试中取得了显著的改进，并且在 Franka 机械臂上的真实世界验证证明了其鲁棒性和泛化能力。
-
AttenA+ 框架通过速度感知训练提升机器人基础模型
研究人员开发了 AttenA+，一个旨在通过解决训练过程中的动作不平等来改进机器人基础模型的新框架。该框架通过基于逆速度场重新加权训练目标，优先处理机器人轨迹中运动学关键的、通常低速且需要精度的片段。这种物理感知方法增强了现有视觉-语言-动作 (VLA) 和世界-动作模型 (WAM) 在复杂任务上的性能，并在 Libero 和 RoboTwin 2.0 等基准测试中显示出显著改进。