NVIDIA Isaac Sim
PulseAugur coverage of NVIDIA Isaac Sim — every cluster mentioning NVIDIA Isaac Sim across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新框架WareFly-VLA支持仓库中语言引导的无人机控制
研究人员推出WareFly-VLA，这是一个专为视觉-语言-动作（VLA）模型在智能仓库中控制无人机（UAV）设计的框架和数据集。该框架包含人类遥操作飞行片段和同步控制命令的数据集，旨在实现语言引导的人类搜索和追踪。使用四个开源VLA架构进行的评估揭示了空中平台泛化和连续动作建模方面的挑战。
-
新AI方法从图像生成可用于仿真的碰撞几何体
研究人员开发了I2CD，一种直接从单个RGB图像生成凸碰撞几何体的新方法。该方法绕过了传统耗时的重建3D模型然后进行分解的流程。I2CD利用一个固定的图像到3D扩散模型，仅训练一个轻量级的交叉注意力头来输出凸多面体的参数。生成的几何体效率高，可直接用于物理引擎，并且比现有方法生成速度显著更快，在仿真和物理机器人上均表现出改进的性能。
-
发布新的基准 Physical AI Smart Spaces，用于三维感知
发布了一个名为 Physical AI Smart Spaces 的新基准，为室内环境中的多摄像头三维感知提供了大规模数据集。该数据集包含来自近 1800 个摄像头在仓库和医院等各种场景的同步视频，以及用于物体识别、边界框和校准的详细注释。它结合了合成数据生成和真实世界评估，并引入了 Higher Order Tracking Accuracy (HOTA) 指标的三维扩展，以提高跟踪性能。
-
人工智能安全辩论转向对抗性攻击和系统控制
人工智能安全辩论正在加剧，焦点已从防止系统故障转移到解决操纵人工智能行为的对抗性攻击。研究人员正在开发针对操纵输入测试机器人安全的方法，例如错误分类交通标志或改变动作轨迹，即使模型表面上运行正常。这一新的安全问题领域延伸至可能允许攻击者破坏人工智能模型或整个机器人车队的系统漏洞。
-
NVIDIA 开源 OSMO 以统一 AI 机器人开发
NVIDIA 已开源 OSMO，一个为简化物理 AI 开发而设计的原生 Kubernetes 工作流编排器。该工具允许机器人团队在单个 YAML 文件中定义训练、模拟和机器人测试流程，解决了不同计算层之间的碎片化问题。OSMO 支持跨各种 Kubernetes 环境和边缘设备的便携性，简化了机器人 AI 开发的复杂过程。
-
Annu Intelligence发布六款模型，赋能工业具身AI部署
Annu Intelligence发布了六款模型，旨在解决在工业环境中部署具身AI所面临的挑战。这些模型涵盖了数据生成、认知理解、训练、动作执行和端到端部署，目标是弥合AI演示与实际工业应用之间的差距。该公司的重点在于使机器人能够理解其环境、可靠地执行任务并适应不断变化的情况，旨在促进工厂的大规模部署。
-
新的合成数据集WireSeg-32K改进了导线实例分割
研究人员推出了WireSeg-32K，这是一个旨在改进导线实例分割的合成数据集。该数据集包含32,000张图像，带有实例掩码和深度图，使用名为DeformX的协同仿真管道生成。DeformX将Cosserat-rod动力学与NVIDIA Isaac Sim相结合，以实现物理上合理的导线变形和逼真的渲染。初步实验表明，使用LoRA在WireSeg-32K上微调SAM3模型，可以显著提高其在真实世界导线感知任务上的性能。
-
AI 3D公司VAST获30亿人民币融资，推出Tripo P2.0模型
专注于3D技术的领先AI公司VAST已成功完成约30亿元人民币的B轮及B+轮融资，使其在不到六个月的时间内总融资金额达到约50亿元人民币。此轮融资由MatrixPartners China领投，众多产业和金融投资者跟投，凸显了市场对VAST的AI驱动3D内容创作工具日益增长的需求。公司计划利用这笔资金进一步开发其3D原生模型和基础设施，旨在使AI 3D技术在各行业中更加普及和集成。
-
新的Orbit-Planner模型增强了卫星的障碍物规避能力
研究人员开发了Orbit-Planner，这是一种新颖的两阶段潜在世界模型，专为卫星在轨导航和避障而设计。该模型学习动作条件下的航天器动力学，在潜在空间中预测未来状态，并使用物理探测器将这些潜在预测转换回物理状态。实验表明，Orbit-Planner在长时域潜在滚动中具有有效性，并在NVIDIA Isaac Sim的闭环避障模拟中实现了91.7%的成功率。
-
机器人与物理AI职业：应届生就业市场及技能建议
一位物理AI和机器人专业的大四学生正在寻求关于该领域入门级职位当前就业市场状况的建议。该学生拥有扎实的技术背景，包括NVIDIA Isaac Sim等模拟工具、SLAM和强化学习等感知与控制技术，以及自主无人机等硬件实践经验。他们特别关注了解来自印度的应届毕业生的全球招聘趋势，并确定在最后一年应重点关注哪些关键技能以提高就业竞争力。
-
机器人公司面临算力激增10倍，转向云以提高研发效率
在过去两年中，机器人公司的计算需求增长了十倍，这得益于大型模型的集成，使机器人能够理解和推理。这种激增要求从传统的本地硬件转向基于云的解决方案，以实现高效开发。阿里云的“无影灵骥”平台提供云工作站，具备弹性计算资源、标准化开发环境和优化的3D仿真能力，旨在降低机器人研发的成本并提高部署效率。
-
新的GAUGE基准测试AI模拟器中的物理保真度
研究人员推出了GAUGE，这是一个旨在评估模拟引擎和生成视频世界模型物理保真度的新基准。该基准基于现实世界的物理学，包含22个任务家族，涵盖碰撞、摩擦和变形等各种物理现象。使用GAUGE进行的初步评估显示，当前的物理引擎并非在所有方面都忠实于现实世界的物理学，并且视频世界模型在准确推断加速度和动量传递等物理参数时可能会遇到困难。
-
新的Spatial-IQ框架测试LLM的空间推理能力
研究人员推出了Spatial-IQ，一个旨在解构和测试多模态大语言模型（MLLMs）空间推理能力的新分层框架。该框架将3D结构中的物体计数分解为九个不同的感知和认知子任务，模拟人类空间认知发展。通过在这些子任务上评估模型，Spatial-IQ揭示了表现最佳的模型通常在主任务上取得高准确率，但并未掌握基础子任务，这表明可能存在捷径行为。研究还表明，使用链式思维监督在这些分层子任务上训练MLLMs，并结合强化学习，可以显著提高空间一致性和整体准确性。
-
新的强化学习框架弥合了四足机器人运动的仿真到现实鸿沟 · 跟踪2个来源
研究人员开发了新的四足机器人运动强化学习（RL）框架，解决了仿真到现实的鸿沟问题。第一种方法利用NVIDIA的Isaac Sim和Isaac Lab，在Unitree Go1上实现了全身控制的零样本仿真到现实迁移，展示了对干扰的鲁棒恢复能力，并达到了2.0米/秒的线性速度。第二种框架侧重于重型四足机器人的扭矩驱动强化学习，使其能够在没有明确速度观测的情况下穿越崎岖地形并跟踪期望速度，在Unitree B1上的仿真结果达到了3.5米/秒。
-
EVIS插件为NVIDIA Isaac Sim生成基于物理的事件相机数据
研究人员开发了EVIS，一个用于NVIDIA Isaac Sim的新插件，可以生成基于物理的事件相机数据。该工具通过在模拟器中创建高帧率、完全标记的事件流，解决了标记事件相机数据稀缺的问题。EVIS可以集成到现有的Isaac Sim/Isaac Lab场景中，并可以合成中间帧以实现实时生成，使数据可以直接用于训练基于事件的感知和控制网络。
-
新的 GraspIT 数据集连接仿真到现实的机器人抓取
研究人员推出了 GraspIT，一个旨在通过连接仿真与现实世界应用来改进机器人抓取的新数据集。该数据集包含具有照片级逼真 RGB-D 观测和物理验证抓取质量标注的桌面场景。GraspIT 在 NVIDIA Isaac Sim 中的 Franka Panda 机器人上使用了四阶段物理滑动测试来生成连续质量分数和轨迹可达性检查，同时提供好的抓取和困难的负例。该数据集包含模拟和现实世界场景中约 316,000 个标注的 RGBD 帧集，以及…
-
新流程增强了从合成到真实域目标检测的自适应能力
研究人员开发了一个名为SmartSDG的新流程，该流程基于NVIDIA Isaac Sim并利用基于物理的着色（PBS），以改进目标检测模型从合成数据到真实世界数据的迁移。这项研究涉及使用YOLOv12框架进行的18次对照实验，发现复杂的间接照明和多样的背景显著增强了视觉线索的丰富性。研究结果表明，避免直接镜面高光可以保留重要的表面纹理，从而减小域间隙并提高模型在工业自动化中的性能。
-
新基准SoftVTBench评估机器人操作安全性
研究人员推出了SoftVTBench，这是一个旨在评估可变形物体机器人操作的新基准，重点关注任务完成和物理安全。该基准使用NVIDIA Isaac Sim构建，并采用有限元方法进行逼真的物体模拟，包含多视图RGB观测、触觉传感和语言指令。实验表明，仅评估任务成功会显著高估策略的性能，因为许多实现目标的动作仍然可能违反安全约束。触觉传感的引入显著提高了安全成功率，并减少了操作过程中的物体变形。
-
新模型通过整合视觉和状态来增强机器人操作能力
研究人员开发了几种新方法，通过更好地整合视觉信息与机器人的状态和动作来提高机器人操作能力。例如，GeoProp 是一种轻量级适配器，通过将机器人状态投影到图像平面并注入空间先验来对齐本体感觉和视觉。RoboDojo 提供了一个统一的模拟和真实基准，用于评估通用机器人操作策略在各种任务中的表现。DSWAM 引入了一种双系统方法，将世界动作模型执行器与视觉语言规划器相结合，以实现细粒度操作，而 DynaWM 使用专门针对动态物体操作的基于…
-
Nuwa Robotics 为“世界旅行者模型”筹集数百万美元用于具身智能
中国具身智能公司 Nuwa Robotics 已获得数千万人民币的天使轮和种子轮融资。该公司由百度自动驾驶与机器人实验室前负责人杨瑞刚博士创立，正在开发专注于使机器人能够在复杂人类环境中自主导航和交互的“世界旅行者模型”（WTM）。Nuwa Robotics 通过强调移动智能并通过先进的模拟和人工智能技术生成高质量的合成数据来区分自己，旨在创造一个多功能的