RGB-D Visual Simultaneous Localization and Mapping (SLAM) Application
PulseAugur coverage of RGB-D Visual Simultaneous Localization and Mapping (SLAM) Application — every cluster mentioning RGB-D Visual Simultaneous Localization and Mapping (SLAM) Application across labs, papers, and developer communities, ranked by signal.
- instance of Gotit.pub 90%
- instance of CatalyzeX 90%
- instance of alphaXiv 70%
- instance of ScienceCast 70%
- used by RGB color model 70%
- instance of RGB color model 70%
- developed ScienceCast 70%
- developed CatalyzeX 70%
- developed Gotit.pub 70%
- used by SCANNET 70%
- used by lidar 70%
- uses 3D computer graphics 70%
8 天有情绪数据
-
新模型应对新视图合成与相机姿态估计挑战
两篇新的研究论文介绍了从现有图像合成新视图和估计相机姿态的新颖方法。第一篇论文LVS，侧重于重用先前渲染的图像以改进交互式场景探索并减少渲染计算，特别适用于增强现实和虚拟现实应用。第二篇论文LVSPM，提出了一个可泛化的模型，该模型可以从未校准的图像集中联合估计相机姿态并合成新视图，在各种数据集上的姿态估计和新视图合成方面优于现有模型。
-
研究质疑动态点滤波在ORB-SLAM2中的有效性
一篇新发表在arXiv上的研究，调查了基于特征的视觉SLAM系统中动态点滤波的有效性，特别是考察了ORB-SLAM2。研究人员创建了具有不同纹理和场景动态水平的合成室内场景，以隔离这些滤波器的影响。研究发现，在高度动态的环境中，滤波通常能提高性能，但其益处并未随着纹理的减少而持续降低。在低纹理场景中，滤波有时会降低跟踪的完整性，并且一个系统在静态场景中未能初始化。
-
PointVGGT框架提供零样本多视图 RGB-D 点云配准
研究人员推出了一种新颖的零样本多视图 RGB-D 点云配准框架 PointVGGT。该方法绕过了传统的成对配准，利用视觉几何基础模型直接估计全局姿态。然后，该框架使用体素化空间哈希机制和鲁棒的捆绑调整来优化这些姿态，在各种数据集上实现了高精度和计算效率。
-
新数据集和框架推动了AI的视觉-触觉学习
研究人员推出了两个新的数据集和框架，旨在推进具身AI的视觉-触觉学习。TouchScale提供了500小时人类交互的同步视觉和触觉数据，显著提高了零样本接触预测和机器人操作的成功率。另一方面，PhysTacGen是一个通过整合物理感知材料描述和几何条件来生成逼真视觉-触觉传感器图像的框架，可以扩充现有数据集并提高下游任务性能。
-
TouchScale数据集提供500小时人类视觉和触觉数据供AI学习
研究人员推出TouchScale，一个包含500小时人类视觉和触觉数据的新数据集，专门用于视觉-触觉学习。该数据集旨在通过提供密集的、双手的双边触觉测量数据以及以观察者为中心的RGB-D和手腕RGB视频，来解决与视频相比同步触觉数据稀缺的问题。初步实验表明，使用TouchScale进行训练可以显著提高零样本接触预测、动作识别和机器人操作的成功率，这表明大规模、一致收集的视觉-触觉数据有利于感知和机器人任务。
-
新的CrowdOcc框架增强了机器人在拥挤室内空间的场景补全能力
研究人员推出CrowdOcc，这是一个新的框架和数据集，旨在改善在拥挤室内环境中运行的四足机器人的单目语义场景补全能力。该系统通过集成法线引导场景几何融合（NGSGF）和以人为中心的稀疏交互（HCSI）来解决人类场景遮挡和不完整占用预测带来的挑战。该方法利用表面法线线索进行鲁棒的几何估计，并选择性地对3D中的人景关系进行建模，在其自身测试集上取得了最先进的性能。
-
RYOPO系统实现物体姿态实时估计
研究人员开发了RYOPO，一个新颖的、可端到端训练的系统，用于使用RGB-D数据进行类别级物体姿态估计。该系统将物体检测、分割和姿态估计整合到一个单一的查询式框架中，无需单独的阶段或显式的CAD模型。RYOPO实现了实时性能，在RTX A6000上运行速度为31.8 FPS，并在NOCS、REAL275和HouseCat6D等基准测试中取得了有竞争力的结果。
-
推出用于零售货架监控的新型3D变化检测系统
研究人员推出ShelfChange3D，一个名为ChangeBox的新数据集和框架，用于检测零售货架库存的变化。该系统在3D空间中运行，识别已更改的产品并使用3D边界框对其进行定位，这对于自动化零售系统至关重要。ShelfChange3D包含具有详细注释的合成和真实世界数据，并且ChangeBox在现有方法上展示了改进的性能，特别是其利用深度和重力先验的基于几何的细化阶段。
-
新的代理式框架重建用于仿真的 3D 室内场景
两篇新研究论文介绍了用于重建 3D 室内场景的代理式框架，旨在创建逼真且可用于仿真的数字孪生。LiteReality-Agent 将 3D 重建表述为一个编码问题，使用由代理编辑的 Python 脚本来生成数字孪生，并声称与 Astra 和 Fable 等近期模型相比，具有更高的准确性和真实感。CoDimRecon 专注于从多视图 RGB 数据中重建具有刚性、关节式和可变形物体的场景，开发了针对曲线、曲面和体积的特定方法，并演示了机器…
-
新的'Finder'基元增强了具身AI的物体定位能力
研究人员推出了一种名为Finder的新基元，专为具身代理设计，使其能够使用语言指令在3D环境中定位物体。与以往将搜索与探索相结合或依赖静态场景表示的方法不同，Finder采用闭环系统。该系统集成了规划、证据收集和验证，允许代理在证据不完整或模糊时优化其搜索。Finder在Habitat/HM3D等基准测试和真实RGB-D场景中显著提高了物体检索的准确性，并且在顺序物体定位和问答等相关任务中也显示出潜力。
-
CALIPER框架使用RGB-D数据进行工业零件识别
研究人员开发了CALIPER，一个新颖的框架，用于识别视觉上相似的工业零件，而无需大型、特定类别的数据集或CAD模型。这种无模型方法利用RGB-D数据结合外观匹配和度量尺寸证据。可以使用一小组RGB-D视频和标记图像添加新类别，其中3D重建提供外观支持，深度数据提供度量尺寸剖面。在推理时，YOLOv8n-seg模型定位零件，一个冻结的DINOv2骨干网络和一个经过周期性训练的嵌入头进行匹配，并在歧义决策时激活概率尺寸证据。CALIPE…
-
机器人学研究引入基于结果的表示学习
研究人员开发了一种在机器人学中学习操纵充分表示的新方法，该方法侧重于动作结果而非密集几何状态。该方法利用了带有KL正则化项的动作条件结果瓶颈，旨在保留可接受动作的结果分布。该系统在抓取选择和主动视点选择等各种任务中都显示出有效性，与重建几何方法相比，抓取成功率的AUC显著提高。
-
新型E-RGB-D系统实现高速实时彩色和深度感知
研究人员开发了E-RGB-D，一个结合事件相机和数字光处理投影仪的新型系统，以实现实时、高速的RGB-D感知。通过投影结构光来捕捉颜色和深度信息，该集成解决了传统事件相机无法检测颜色和静态物体等局限性。该系统表现出色，实现了每秒1400帧的颜色检测速度和4千赫兹的像素深度检测，为机器人技术和3D重建的先进应用铺平了道路。
-
Hydra方法实现了无标记手眼标定，精度有所提高
研究人员开发了一种新的无标记手眼标定方法Hydra，该方法利用RGB-D成像和一种新颖的迭代最近点（ICP）算法。该方法在李代数上构建了一个鲁棒的点对面目标，实现了约90%的成功标定率，与现有方法相比，收敛速度更快，收敛时间更短。Hydra的精度有所提高，任务空间误差为5毫米，而经典方法的误差为7毫米，并且其相关的代码和数据集已开源。
-
VOIM系统无需训练即可生成3D实例地图
研究人员推出了一种新颖的、无需训练的VOIM系统，可从RGB-D或单目RGB数据创建3D实例地图。与早期承诺标签的现有在线系统不同，VOIM将这些决策推迟到积累了足够证据后，从而提高了准确性。在ScanNet++上的评估中，VOIM在平均交并比（mIoU）方面显著优于领先的在线RGB-D系统OVO-SLAM。该系统在适应单目RGB输入时也显示出有效性，在Replica数据集上与基线相匹配。
-
DINOcular框架从RGB-D数据中学习视觉空间表示
研究人员推出DINOcular，一个新颖的自监督框架，旨在从RGB-D（彩色和深度）数据中学习视觉空间表示。该方法将源自深度信息的几何先验与视觉骨干相结合，使模型能够编码外观和空间结构。DINOcular在3D几何基准测试中表现出改进的性能，并在RGB-D数据的语义分割任务中保持竞争力。
-
Stream3Dv2框架通过几何语义融合增强零样本3D场景理解
研究人员开发了Stream3Dv2，一个用于鲁棒、零样本3D场景理解的新型框架，采用流式RGB-D输入。这种无需训练的方法通过采用嵌套的局部到历史架构和几何语义融合机制，解决了处理序列数据和2D分割掩码中的噪声的局限性。Stream3Dv2将3D分割表述为点集合并问题，并使用基于流形距离的细化来改善边界描绘。实验表明，它在流式3D分割和检测方面优于现有方法，并且可以与基于LLM的代理集成，以实现更高级的语言驱动3D场景理解。
-
新的S3AM框架增强了多模态显著目标检测
研究人员开发了S$^3$AM，一种用于多模态显著目标检测的新型单流框架。该方法将可靠性校准频率适配器与Segment Anything Model (SAM)骨干网络集成，以减少计算冗余。该框架采用频率专家混合和双门控校准机制，选择性地在Transformer阶段传播校准后的残差信息，而超网络引导的解码器则结合了语义掩码特征和基于Mamba的结构细节恢复。实验表明，S$^3$AM在可训练参数数量显著减少的情况下，实现了具有竞争力的性能。
-
新系统InViStream解决了实时体积视频中的隐私问题
研究人员开发了InViStream，一个旨在保护实时体积视频流隐私的新颖系统。与传统视频不同，体积视频从多个角度捕捉3D场景，使得隐私擦除更加复杂。InViStream通过在数据融合之前从源头移除私有对象和内容来解决这个问题，防止在重建的3D表示中发生隐私泄露。该系统结合了对象检测和深度感知掩蔽，并确保跨校准视图的一致隐私决策，在合成和真实世界场景中都实现了高精度，同时保持实时流媒体速度。
-
新的GESTO记忆系统使机器人能够推理人类活动
研究人员推出GESTO，一种专为在动态人类环境中运行的机器人设计的新型时空记忆系统。GESTO集成了持久的4D场景图与原子化人机交互和目标驱动事件的层次结构。该系统从RGB-D数据中自动提取带时间戳的交互，将其关联到场景实体，并将它们分组为事件，进而完善对象关联。然后，一个关系感知代理可以查询此记忆以进行活动中心推理，在现有基准和事件及空间推理的新查询上均表现出改进的性能。