RGB-D Visual Simultaneous Localization and Mapping (SLAM) Application
PulseAugur coverage of RGB-D Visual Simultaneous Localization and Mapping (SLAM) Application — every cluster mentioning RGB-D Visual Simultaneous Localization and Mapping (SLAM) Application across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
Utonia：统一的3D点云编码器推动感知与推理
研究人员推出了Utonia，这是一种新颖的自监督点变换器编码器，旨在处理来自不同领域的各种3D点云数据。这种统一的方法旨在创建一个能够理解来自遥感、LiDAR、RGB-D序列甚至纯RGB视频等来源数据的单一模型。通过在这些不同的领域学习一致的表示空间，Utonia展示了改进的感知能力，并推动了具身和多模态推理的进步，造福于机器人和视觉语言模型中的应用。
-
Image2Sim框架为AI导航训练生成逼真的3D环境
研究人员开发了Image2Sim，一个用于为具身导航训练创建逼真且交互式3D环境的新颖框架。该系统利用解耦的3D空间锚定和照片级真实感渲染技术，从RGB-D图像生成高保真场景。Image2Sim可以合成数百万个导航训练样本，使仅在这些神经环境中训练的模型能够取得显著改进，并有效地迁移到现实世界场景。
-
新的LINet架构可在RGB-D场景分类中实现连续跨模态学习
研究人员推出了一种新颖的多流神经网络（MSNN），名为LINet，用于RGB-D场景分类。与现有离散融合特征的架构不同，LINet在每一层都采用连续集成方法，使用线性集成卷积（LIConv2d）算子。该方法通过特定的常数初始化解决了初始化问题，并使用渐进式模态丢弃来防止训练过程中的通路崩溃。在SUN RGB-D上训练时，LINet在ResNet18规模下达到了45.2%的平均类别准确率，使用ScanNet预训练后提高到49.6%。
-
VCS-SLAM通过几何验证增强了语义3D高斯SLAM
研究人员开发了VCS-SLAM，一个旨在提高语义3D高斯SLAM系统准确性和一致性的新框架。这种新方法解决了当前方法中的局限性，这些方法通常以统一的优化权重将2D语义先验融合到3D地图中，导致遮挡或模糊几何产生的伪影。VCS-SLAM通过可见性一致性、表面支持边界证据和射线级不确定性来评估语义观测的几何可靠性，从而抑制不可靠的更新，提高语义一致性和重建质量。
-
新的SWAM模型支持单通道RGB输入实现高效具身导航
研究人员开发了SWAM（空间感知世界动作模型），一个新颖的具身导航框架，它在单次通过中联合生成中间视觉序列和动作轨迹。与以前以验证为中心的方法不同，SWAM直接从起始和目标RGB观测合成与目标一致的路径，提高了空间可行性和效率。尽管使用深度伪标签进行训练，但该模型在推理时仅需要单目RGB输入，并在各种实验中展示了优于最先进规划器的性能。
-
新的AISPO框架提高了机器人对挑战性物体的深度可靠性
研究人员开发了AISPO，一个新颖的深度补全框架，旨在提高机器人操作的深度可靠性，特别是在处理透明或镜面等具有挑战性的非朗伯体物体时。该框架集成了多尺度RGB-D特征融合和仿射不变形状先验，以确保几何一致性并防止显著的深度误差。AISPO系统在其深度预测中优先考虑物理合理性和结构完整性，在各种基准测试和真实抓取实验中表现出竞争性的性能和泛化能力，从而提高了操作成功率。
-
UniRED框架统一了RGB-D视频插值与事件引导
研究人员开发了UniRED，一个通过整合RGB外观、深度几何和基于事件的时间线索来插值RGB-D视频的新型框架。该方法解决了现有方法在RGB-D数据中模糊边界和几何不一致性方面的局限性。UniRED融合了这些多模态输入来估计双向流并合成目标帧，并且创建了一个新的RGB-D-Event数据集来支持训练。
-
新AI方法增强机器人和手术中的点云配准
两篇新研究论文探讨了点云配准的高级技术。第一篇Generalized-CVO使用黎曼优化，在LiDAR和RGB-D数据的处理速度上比以前的方法快10倍，显著减少了在挑战性环境中的漂移。第二篇GAPR-Net采用基于Transformer的架构进行点云从局部到整体的配准，在涉及胫骨和股骨等骨骼结构的 the surgical applications 中表现出高精度。
-
新的GPS表示通过VR数据增强机器人操作
研究人员引入了一种名为几何主结构（GPS）的新几何表示，用于通过感知关节部件来改进机器人操作。该方法利用虚拟现实进行高效数据收集，可在短时间内获得高质量的标注。开发的GPS模型在41K帧的数据集上进行训练，在无需领域内微调的情况下，在物体操作任务中取得了73%的成功率。
-
Con-DSO 通过学习到的一致性先验改进RGB-D里程计
研究人员开发了Con-DSO，一个新颖的RGB-D直接稀疏里程计框架，旨在提高在挑战性环境中的准确性。该系统学习预测相邻RGB-D帧的光度一致性和深度几何一致性的像素级不确定性。通过将这些不确定性预测用作质量先验，Con-DSO可以在姿态估计过程中动态调整不可靠观测值的影响，从而在多个基准测试中显著减少轨迹误差。
-
视觉语言模型管道为具有部分观测的机器人实现视角无关抓取
研究人员开发了一种新的端到端语言引导抓取管道，提高了移动机械手在混乱环境中的鲁棒性。该系统使用视觉语言模型（VLMs）和部分观测来理解自然语言指令，通过深度补偿和点云补全提高几何可靠性，并生成安全、可执行的抓取。在四足机器人上的评估显示成功率为 90%，显著优于依赖视角的基线。
-
CLAMP框架使用对比学习进行3D机器人操作预训练
研究人员开发了CLAMP，一个用于机器人操作的新预训练框架，该框架利用3D多视角图像数据和机器人动作。CLAMP在模拟轨迹上使用对比学习，将几何信息与动作模式关联起来。这种方法显著提高了学习效率和策略性能，在模拟和现实世界任务上均优于现有方法。
-
机器人夹爪利用人工智能驱动的视觉传感进行精确力估计
研究人员开发了一种新颖的基于模型的系统，利用RGB-D相机的视觉反馈来估计机器人夹爪中的抓取力。该方法集成了迭代接触定位和逆有限元分析模拟，使其能够泛化到未见过的物体和条件。该系统表现出高精度，在加载阶段的平均均方根误差为0.23 N，在整个抓取过程中的误差为4.34%。
-
FunRec 从第一人称视频中重建交互式三维场景
研究人员开发了 FunRec，一种从第一人称 RGB-D 视频创建室内环境交互式三维数字孪生（digital twins）的新颖方法。该方法处理不受约束的人类交互序列，自动识别关节部件、估计其运动，并重建静态和动态几何。与现有方法相比，FunRec 在部件分割和姿态准确性方面取得了显著改进，能够实现诸如模拟就绪网格导出和机器人-场景交互等应用。
-
ViFiCon 使用自监督学习实现视觉与无线信号的关联
研究人员开发了 ViFiCon，一种新颖的自监督对比学习方法，用于建立视觉数据与无线信号之间的关联。该系统利用来自 RGB-D 摄像头的行人数据和来自智能手机的 WiFi 精确时间测量数据。ViFiCon 在将视觉边界框与特定智能手机设备关联方面达到了 92.63% 的准确率，而无需训练标签化的关联示例。