SAM3D
PulseAugur coverage of SAM3D — every cluster mentioning SAM3D across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Lucida系统通过VLM引导的放置增强真实到模拟场景建模
研究人员推出Lucida，一个用于可组合场景建模的新系统，可将真实的室内环境重建为可编辑的3D对象资产。与以前的方法不同，Lucida将任务需求重新分配到解析、资产生成和放置阶段，确保每个步骤都依赖于杂乱捕获中可靠可用的数据。该系统利用视觉语言模型GizmoAct，通过多轮GUI交互引导对象放置，在3D对象检测、姿态估计和场景重建方面取得了显著改进。
-
新方法将动态3D手部-物体交互重建速度提高了4倍
研究人员开发了Grasp in Gaussians (GraG)，一种从单目视频重建动态3D手部-物体交互的新方法。该方法利用预训练的大模型进行初始化，并采用紧凑的高斯和 (SoG) 表示来实现高效跟踪。GraG 在速度上显著优于先前的方法，重建速度提高了 4.4 倍到 38.9 倍，同时保持了手部-物体运动的时间一致性。
-
新AI方法可从多视图图像和草图生成3D场景
研究人员开发了从有限视觉输入生成3D场景资产的新方法。其中一种方法Scene-SAM3D，将现有的单图像3D生成模型扩展到处理多个校准视图，在无需微调的情况下提高了一致性并减少了冗余。另一种方法解决了从徒手草图生成几何一致的多视图场景的挑战，这项任务由于草图输入的贫乏性而此前未被尝试过。后一种方法引入了一个新数据集，并使用专门的注意力适配器和新颖的监督损失，在真实感和几何一致性方面取得了显著改进。
-
Hydra++系统通过详细的物体形状估计增强3D场景图
研究人员开发了Hydra++，一个用于构建具有详细物体级形状估计的分层3D场景图的系统。与使用粗糙几何的先前系统不同，Hydra++集成了基于学习的形状估计器和一致性检查来完善实例特定的细节。该系统可以使用CRISP等配置实时运行，或使用SAM3D等较慢但更准确的估计器，从而在速度和细节之间进行权衡。Hydra++还支持混合激光雷达-摄像头设置，以提高大规模室外环境中的重建质量。
-
Hydra++ 通过物体形状估计推进实时三维场景图构建
研究人员开发了 Hydra++，一个用于实时构建分层三维场景图的新系统。该系统通过集成基于学习的估计器来增强物体级形状估计，改进了依赖粗糙几何或通用模板的现有方法。Hydra++ 包含拒绝不准确预测的机制，并可与混合激光雷达-相机配置配合用于大规模室外环境，在模拟和真实场景中均展示了重建质量的提升。
-
新研究强调单视角网格重建在机器人领域泛化问题的挑战
一篇新研究论文探讨了单视角网格重建的局限性，这是一种用于机器人空间推理和数字孪生的技术。研究表明，当机器人安装的相机发生显著旋转时，现有方法在泛化方面存在困难，导致三维不一致和物理违反。研究人员开发了一个评估协议，在 Aria Digital Twin 和真实 Franka 机器人序列等数据集上测试这些模型，发现虽然规范物体网格保持稳定，但布局预测会出现漂移。该论文提出了一种称为“重力感知细化”的方法，以提高对这类旋转误差的鲁棒性。
-
GeneralVLA-2 通过改进的 3D 重建和记忆增强机器人规划
研究人员推出了 GeneralVLA-2，这是视觉-语言-动作系统在机器人规划方面的最新进展。该系统集成了 GeoFuse-MV3D，通过利用几何先验和多视图融合来提高 3D 重建的准确性，解决了先前方法中出现的几何幻觉等问题。此外，GeneralVLA-2 还升级了 KnowledgeBank，现已成为一个受控记忆系统，明确管理质量、置信度和几何相关性，以更可控、更精确地检索操作经验。
-
GeneralVLA-2 通过改进的 3D 重建和记忆来推进机器人规划
研究人员推出了 GeneralVLA-2，这是视觉-语言-动作系统在机器人规划方面的一项进步。该系统集成了 GeoFuse-MV3D 以增强 3D 重建，并改进了 KnowledgeBank 以更好地管理机器人任务中的记忆。GeoFuse-MV3D 组件通过融合几何并保留外观来解决单视图重建的局限性，而升级的 KnowledgeBank 则提供具有显式元数据（用于质量和置信度）的受控长期记忆。
-
HiCache++ 使用 DMD 和 Prony 基加速扩散模型
一种名为 HiCache++ 的新方法已被开发出来，可以在无需额外训练的情况下显著加速扩散模型（如 Stable Diffusion 中使用的模型）。该技术通过使用动态模式分解 (DMD) 和 Prony 基来改进现有方法，与早期方法中使用的多项式基相比，DMD 和 Prony 基更适合预测扩散特征的轨迹。HiCache++ 在更宽的跳过间隔下表现出改进的性能并保持无损质量，使其成为当前缓存机制的即插即用替代品。
-
GraspFoM框架利用3D基础先验增强机器人抓取能力
研究人员开发了GraspFoM，一个利用3D基础模型来提升机器人抓取能力的新框架。该方法将3D物体重建与抓取姿态预测相结合，将重建的几何体视为可复用的抓取先验。该系统采用一种新颖的扩散模型来预测连续抓取姿态，并包含增强重建与抓取之间交互的组件，最终以最少的额外可训练参数实现了最先进的成果。
-
新的SAM 3D模型支持单图像3D重建
研究人员推出了SAM 3D，这是一种生成模型，能够从单个2D图像中重建3D对象，包括几何和纹理。该模型旨在处理具有遮挡和杂乱的复杂真实世界场景，与现有方法相比取得了显著改进。随后的开发Fast-SAM3D通过引入一个无需训练的框架来解决SAM 3D的推理速度限制，该框架根据生成复杂度动态调整计算量，在保真度损失很小的情况下实现了高达2.67倍的速度提升。
-
新的SAM3D-Phys框架实现了交互式3D对象模拟
研究人员开发了SAM3D-Phys，一个旨在从真实世界场景重建完整且可进行物理模拟的3D对象几何的新框架。现有的多视图重建方法由于遮挡常常产生不完整的对象模型，限制了它们在物理模拟中的应用。SAM3D-Phys整合了场景重建与来自SAM3D的生成式3D先验，以推断完整的对象几何，并通过物理约束优化和外观细化确保与原始场景的一致性。
-
新框架利用3D几何学改进AI图像对应关系
研究人员开发了一个名为“Geometry Matters”的新框架，通过整合3D几何先验来增强语义对应估计。该方法解决了现有2D基础特征在3D感知方面的局限性，这些特征会混淆视觉上相似但结构不同的物体。该框架使用SAM3D重建物体几何和姿态，然后通过渲染和比较过程精炼这些估计，生成具有几何感知的特征图。这些特征图可以补充现有特征并帮助过滤候选对应关系，从而在较少的监督下提高准确性。
-
研究发现：模块化抓取方法优于端到端方法
一篇新的研究论文调查了用于机器人抓取的物体姿态和形状估计方法的成熟度。研究发现，先估计物体姿态和形状再进行抓取采样的模块化方法，优于端到端的抓取合成方法。这些模块化方法对于较小的物体尤其有效，尽管由于当前估计技术的局限性，它们在杂乱场景中的性能可能会下降。研究还探讨了通过引入视觉语言模型来增强这些方法，以实现语言条件下的抓取。
-
Hugging Face、腾讯、Meta推进AI模型可视化和3D工具
Hugging Face、腾讯和Meta推出的新AI驱动工具正在增强AI模型架构的可视化，并简化3D资产的创建。这些进展旨在让开发者更容易理解和交互复杂的模型结构。这一发展也标志着AI在改变3D建模流程方面的应用方式的转变，有望提高速度和精度。