π0.5
PulseAugur coverage of π0.5 — every cluster mentioning π0.5 across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
逐际动力发布FluxVLA Engine,统一具身智能研发流程
逐际动力 (Interlink Dynamics) 发布了FluxVLA Engine,这是一个开源工程框架,旨在简化具身人工智能的开发。该引擎旨在统一数据、训练、评估和部署流程,允许集成各种VLA模型和机器人平台。主要功能包括用于模型灵活性的配置和组件注册系统,针对边缘设备上更快推理的优化,以及弥合模拟预测与真实世界机器人执行之间差距的机制。此外,该引擎通过与外部系统集成支持在线强化学习,从而能够基于真实交互数据进行持续改进。
-
新的TOPS方法通过自适应先验增强多任务机器人操作
研究人员开发了TOPS(面向任务的先验和调度),一种用于语言条件多任务机器人操作的新颖方法。TOPS在不改变网络架构的情况下,为单个任务调整流源先验和插值调度。该方法构建多模态任务源,并根据源-目标协方差不匹配调整向专家动作的过渡速度。在LIBERO和CALVIN等基准测试上的实验显示成功率和数据效率显著提高,实际测试也证明了任务完成能力的增强。
-
新研究探讨了随机动力学中的上下文推理和机器人的动态视图路由
一篇新研究论文探讨了模拟环境中的动力学随机化如何影响模型推断上下文的能力。该研究引入了“预测头部空间”的概念来量化上下文推断的剩余信息,并建议在随机参数旁边报告此指标。另外,一个名为 FocusVLA 的新框架已被开发出来,通过根据预测的交互意图在全局和局部摄像头视图之间动态路由来改进机器人操作,在机器人操作基准测试中取得了显著的成功率提升。
-
新的Orchestra系统使机器人能够遵循复杂的多模态指令
研究人员开发了Orchestra,一种新的智能体框架,旨在通过使机器人能够遵循复杂的多步多模态指令来改进机器人操作。Orchestra将任务规划和执行管理与动作生成分开,使机器人能够保持对任务进度的感知并适应不断变化的环境。引入了一个新的基准RMBench-Compose来测试这些能力,其中Orchestra在执行更长序列子任务方面比现有方法表现出显著的改进。
-
GreenWAM:一个用于机器人控制和预测的统一基石模型
研究人员推出 GreenWAM,一个专为机器人设计的全新世界基石模型。该单一模型既是动作条件的世界模型,也是策略,能够跨越包括双臂机器人和人形机器人等 20 个不同的机器人家族运行。GreenWAM 在 WorldArena 1.0 的世界预测任务上表现出色,超越了现有模型,并且在 RoboTwin 2.0 等排行榜以及 LIBERO-Plus、CALVIN 和 LIBERO 等基准测试中作为策略也取得了有竞争力的结果。该模型还成功应…
-
机器人策略学习通过新的记忆和时间整合方法取得进展 · 跟踪 6 个来源
机器人领域的最新研究正在探索如何通过明确地将物理时间整合到记忆动态中来改进策略学习。论文提出了 RSSM-RLPD 等方法,用于从真实机器人交互中学习未观察到的状态,IMPRINT 用于无策展的潜记忆多流学习,以及 TEMPO 用于高效的测试时适应。其他方法,如 PoLAR,将潜动作分解为范围和模式,而时间流策略 (TFP) 和 Chronos Policy 分别将物理时间作为记忆和策略条件化的直接组成部分,以处理不同的观察率和推理延迟。
-
中国机器人公司星纪元(Star-Epoch)的VPP2模型登顶全球榜单,超越GPT-6和NVIDIA
中国机器人公司星纪元(Star-Epoch)开发了一个名为VPP2的世界动作模型(WAM),该模型在RoboDojo基准测试中取得了最高排名,超越了GPT-6-ASTRA和NVIDIA的GR00T-N1.7等领先模型。VPP2的成功归功于其新颖的解耦和重排视频预测与动作学习的方法,专注于在训练动作执行之前进行鲁棒的视频预测。这种方法使VPP2能够展现出强大的泛化能力、精确的操作能力和记忆能力,即使在真实机器人上的零样本任务中,无需额外…
-
新的RoboSPA基准测试VLA模型在复杂机器人推理能力
研究人员推出了RoboSPA,这是一个新的数据集和基准,旨在评估机器人领域中视觉语言动作(VLA)模型具身推理能力。RoboSPA专注于细粒度的空间推理和长时序程序规划,呈现出跨越多个难度级别和具身形式、复杂度递增的任务。对当前VLA模型的初步实验表明,在处理复杂空间关系、精确执行和内存密集型规划方面存在显著挑战,凸显了对更先进具身智能体的需求。
-
Li 和 Wu 推出 TrAct 以统一机器人控制和视觉预测
研究人员(包括 Fei-Fei Li 和 Jiajun Wu)推出 TrAct,这是一种弥合机器人控制与视觉预测之间差距的新方法。TrAct 利用“视觉轨迹”作为中间语言,将机器人特定的“动作方言”翻译成世界模型可理解的通用“图像语言”。该系统包含三个组件:VLAT 用于生成动作-轨迹对,TWM 基于这些轨迹进行视觉预测渲染,VLAC 根据任务目标对预测进行评分。通过在机器人和人类第一人称视频的混合数据上进行训练,TrAct 旨在提高…
-
前华为“天才少年”李博杰谈AI创业与职业生涯
前华为“天才少年”李博杰公开分享了他的经历,包括一次病毒式传播的采访事件以及他的创业历程。他联合创立了AI代理公司Metagent,该公司在商业模式上面临挑战后,转向图像生成,之后又转向Pine AI,专注于解决海外日常纠纷。尽管最初对其才华和成就存在误解,李博杰现在作为首席科学家为Pine AI做出贡献,利用他在AI代理和复杂问题解决等领域的专业技术。
-
StreamPI框架赋予VLA模型对物理世界的时序理解能力
来自大笑机器人和香港大学的研究人员推出StreamPI,一个旨在赋予视觉-语言-动作(VLA)模型对物理世界时序理解能力的新型框架。与依赖单帧观测进行决策的传统VLA模型不同,StreamPI建立了连续的多模态时序上下文,使机器人能够记忆过去的状态,理解变化,并利用跨帧信息来增强感知和行动。这一进展使VLA模型超越了识别当前状态,能够理解正在进行的物理过程,为具身基础模型迈向连续物理智能提供了新的技术路径。
-
新的SoftVTBench数据集评估可变形物体操作中的物理交互
研究人员推出了SoftVTBench,这是一个新的数据集和基准,旨在评估可变形物体操作中物理交互的质量。该数据集将视觉观察与触觉数据配对,从而更全面地了解机器人策略如何与软体物体交互。该基准不仅衡量任务完成情况,还衡量物体变形的程度,揭示了当前策略在任务中常常成功,但仍会导致过度变形。
-
GigaBrain-0.7 凭借新架构和海量预训练推动具身人工智能发展
研究人员推出了 GigaBrain-0.7,这是一种具身基础模型,旨在增强各种机器人具身能力的泛化能力。该模型采用了新颖的三系统架构,在超过 37,000 小时的数据上进行了广泛的异构预训练,并采用了一阶段的对齐训练过程。与 GigaBrain-0 和 π0.5 等先前模型相比,GigaBrain-0.7 在零样本能力、指令遵循和任务成功率方面表现出显著的改进,在家庭和工业环境中都显示出强大的适应性。
-
机器人具身在AI发展中的关键作用被低估 · 追踪1个来源
在追求更智能的AI模型过程中,机器人具身(即机器人的物理硬件)的重要性正被低估。虽然AI发展通常侧重于模型能力和数据可用性,但机器人的物理限制,如延迟和精度,正在阻碍实际应用。凌宇智能的TA2机器人因其高性能的具身能力在比赛中获胜,引起了模型开发团队的极大兴趣,这凸显了对强大硬件基础设施的需求。
-
李飞飞的World Labs推出R2S2R用于机器人训练
李飞飞的World Labs推出了一款名为Real-to-sim-to-real (R2S2R) 的新型机器人训练和评估引擎。该引擎通过首先将真实世界的机器人交互重建到虚拟世界(Real-to-Sim),然后在这些模拟环境中训练和评估机器人策略,再将其部署回物理机器人(Sim-to-Real),从而弥合了模拟环境与真实世界机器人部署之间的差距。这个闭环系统旨在克服当前机器人开发中普遍存在的扩展数据采集和评估的局限性,从而实现更高效、更…
-
人形机器人通过新的VLA模型获得大语言模型驱动的“双手”
视觉-语言-动作(VLA)模型的最新进展旨在弥合大语言模型推理能力与机器人实时控制需求之间的差距。英伟达的GR00T N1.7、Google DeepMind的Gemini Robotics 1.5和Physical Intelligence的π0.5代表了应对这一挑战的不同架构方法。尽管它们都被营销为通用操作系统,但在整合感知、推理和动作方面存在差异:GR00T使用独立的网络,Gemini采用时间交错,而π0.5则试图在单个Tran…
-
具身智能公司竞相在世界人工智能大会上开发机器人触觉感知
在世界人工智能大会(WAIC)上,具身智能领域的公司越来越关注机器人的触觉感知。这种转变是由纯粹视觉感知在复杂操作任务中的局限性驱动的,在这些任务中,细微的接触信息至关重要。研究,例如涉及顶尖AI研究人员的“T-Rex”论文,表明集成触觉数据需要专门的模型和处理路径,而不仅仅是将其添加到现有的视觉系统中。
-
OpenBMB发布用于设备端机器人的MiniCPM-Robot模型
OpenBMB发布了两个新模型MiniCPM-RobotTrack和MiniCPM-RobotManip,专为机器人设备端AI设计。MiniCPM-RobotTrack专注于语言条件下的目标跟踪,利用融合的视觉特征预测未来航点,并实现高效的设备端推理。MiniCPM-RobotManip是一个更大、更通用的视觉-语言-动作模型,用于具身操作,性能优于其他模型,并具有流式上下文功能,可用于长视域决策并减少计算量。
-
新模型和框架推动具身AI能力发展
研究人员正在开发先进的模型和框架,以实现更具能力的具身人工智能。一种方法是Athena-Brain-8B,一个为设备端机器人大脑设计的8B LLM,展现出强大的通用智能和具身交互能力,并能给出简洁的响应。另一篇论文探讨了Edmund Berkeley和David L. Heiserman的历史工作,将其视为一个未被充分探索的具身智能架构,将逻辑与硬件和时间扩展行为联系起来。此外,一个1.5B的开源VLA模型MiniCPM-Robot,…
-
RoboDojo基准揭示AI机器人与人类表现的巨大差距
一项名为RoboDojo的新基准已发布,用于评估具身智能,包含42个模拟任务和18个真实世界机器人任务。该基准突显了当前AI模型与人类表现之间存在的巨大差距,在模拟环境中,最佳模型成功率仅为8.80%,在真实机器人上为12.8%,而人类的成功率分别为76.03%和100%。RoboDojo旨在为具身智能提供标准化和全面的评估,涵盖泛化能力、记忆、精度、长时序执行和开放式语义理解。