SCANNET
PulseAugur coverage of SCANNET — every cluster mentioning SCANNET across labs, papers, and developer communities, ranked by signal.
12 天有情绪数据
-
新的WARM模块增强了少样本3D点云分割能力
研究人员开发了一种名为白化聚合与恢复模块（WARM）的新方法，以改进少样本3D点云语义分割。该技术解决了现有依赖最远点采样生成原型的方法存在的性能不稳定性问题。WARM利用注意力机制结合白化和着色变换，创建更鲁棒的原型，能够准确捕捉有限标记数据中的语义关系。该模块在S3DIS数据集上取得了最先进的结果，并在ScanNet上表现出竞争力。
-
REMIND系统通过记忆增强室内物体再识别
研究人员开发了REMIND，一个新颖的在线跟踪系统，用于使用单目RGB图像对通用室内物体进行长期再识别。REMIND通过集成双银行外观记忆、部件和背景级描述符以及邻域上下文推理模块，解决了显著的视角变化和光照变化等挑战。该系统实现了高性能，在自定义室内数据集上达到了90.35%的IDF1分数，并在ScanNet++上超越了现有基线，同时公开了其完整的系统、评估框架和数据集。
-
WanderDream 数据集使 AI 代理能够通过心智模拟进行推理
研究人员推出了 WanderDream，这是一个新颖的数据集和框架，旨在通过模拟仿真使 AI 代理能够进行情境推理。这种方法允许模型在不需要物理交互或现实世界探索的情况下，心智上探索未来轨迹并回答“假设”问题，而物理交互或现实世界探索可能受到安全或可行性的限制。该数据集包括全景视频和源自真实场景的问答对，证明了世界模型可以有效地进行心智探索，并且这种能力极大地有助于推理任务，有望迁移到现实世界的应用中。
-
GEM-Occ框架增强室内智能体的语义占用地图构建
研究人员推出了一种新颖的室内环境语义占用地图构建框架GEM-Occ。该系统通过将瞬态视觉几何预测融合到持久的、分层的记忆中，利用高斯证据记忆来表示占用和自由空间以及物体语义。GEM-Occ旨在改善跨连接室内空间的长期语义地图构建，在局部预测、地图稳定性和可扩展性方面优于现有方法。
-
新型LMM支持感知度量的3D空间推理和地面定位
研究人员推出Ground3D-LMM，这是一种旨在增强3D环境自然语言理解的新型模型。该模型通过提供明确关联到特定3D区域并包含真实世界单位度量衡的响应，支持关于3D空间的交互式对话。为此，定义了一个名为3D Grounded Measurement的新任务，以及一个包含约250万个问答对、源自ScanNet和ScanNet++的大规模数据集。
-
NegROI框架通过负面提示改进3D分割
研究人员推出了一种名为NegROI的新型基于Transformer的框架，旨在增强交互式3D分割。该方法通过将以点击为中心的精炼与场景条件负面提示相结合，解决了体素分辨率粗糙和假阳性等挑战。NegROI仅精炼用户点击周围的局部感兴趣区域，并利用置信度驱动的选择性精炼来优先处理模糊区域，从而提高不同数据集的效率和鲁棒性。
-
新方法增强遥感和边缘设备的视觉定位能力
研究人员开发了两种新的视觉定位方法，这是一种利用视觉数据精确定位设备位置的技术。VFM-Loc 是一个无需训练的框架，它将基础模型的判别性视觉线索进行对齐，以匹配无人机视角图像与卫星图像，在具有挑战性的数据集上取得了显著的改进。AsymLoc 提出了一种非对称方法，其中一个大型教师模型离线处理数据库图像，一个轻量级学生模型在线处理查询图像，从而在最小的精度损失下实现高效定位。
-
新框架RelGraphOV通过对象关系增强3D场景理解
研究人员推出RelGraphOV，一个旨在通过整合对象关系来改进开放词汇3D场景理解的新型框架。该方法利用3D场景图来推断和完善语义理解，超越了将对象孤立处理的方法。该框架采用自适应门控双流上下文GAT来处理几何和语义特征，能够在不产生特征干扰的情况下实现更好的上下文聚合。在ScanNetV2和Replica等数据集上进行的实验显示出有希望的结果和泛化能力。
-
新的LINet架构可在RGB-D场景分类中实现连续跨模态学习
研究人员推出了一种新颖的多流神经网络（MSNN），名为LINet，用于RGB-D场景分类。与现有离散融合特征的架构不同，LINet在每一层都采用连续集成方法，使用线性集成卷积（LIConv2d）算子。该方法通过特定的常数初始化解决了初始化问题，并使用渐进式模态丢弃来防止训练过程中的通路崩溃。在SUN RGB-D上训练时，LINet在ResNet18规模下达到了45.2%的平均类别准确率，使用ScanNet预训练后提高到49.6%。
-
VCS-SLAM通过几何验证增强了语义3D高斯SLAM
研究人员开发了VCS-SLAM，一个旨在提高语义3D高斯SLAM系统准确性和一致性的新框架。这种新方法解决了当前方法中的局限性，这些方法通常以统一的优化权重将2D语义先验融合到3D地图中，导致遮挡或模糊几何产生的伪影。VCS-SLAM通过可见性一致性、表面支持边界证据和射线级不确定性来评估语义观测的几何可靠性，从而抑制不可靠的更新，提高语义一致性和重建质量。
-
新方法通过开放词汇语义增强3D高斯场景理解 · 跟踪6个来源
研究人员正在开发新方法，利用高斯表示来改进开放词汇3D场景理解。SAD-GS通过将视觉嵌入蒸馏为文本锚点并使用反馈循环来细化空间掩码，专注于可靠的语义场学习。COVScene通过可微分体积提升将高斯基元与语义占用场耦合，实现了新视角合成和语义查询。PairGS通过对高斯之间的成对关系进行建模来重新定义分割，其速度比以前的方法更快，并取得了最先进的结果。GaussDet利用2D目标检测器实现3D高斯场的开放词汇和指代分割，在指代定位方面…
-
ReScene框架以更高精度重建3D室内场景 · arXiv论文
研究人员开发了ReScene，一个旨在从多视图捕获中构建可用于仿真的3D室内场景的新框架。该方法通过专注于跨视图关系融合和物理上合理的场景组装，而不是仅仅进行单对象重建，来解决现有方法的局限性。ReScene利用HierView组件来优先化重建视图，并使用Relation-Aware Assembly将多帧预测与几何先验相结合，从而生成一个置信度加权的场景图。该框架在ScanNet场景上实现了最先进的性能，显著降低了Chamfer D…
-
MMD-SLAM 通过结构引导的高斯映射增强视觉SLAM
研究人员推出 MMD-SLAM，一个新颖的视觉SLAM框架，通过整合结构信息来增强地图质量和跟踪鲁棒性。该新系统利用亚特兰大世界假设和多元高斯表示，显式编码主导方向以更好地表示场景几何。MMD-SLAM 还采用点线融合策略进行姿态优化和高斯演化策略以适应场景结构，在实验中取得了最先进的性能。
-
新系统Savvy应对开放世界视频分割挑战
研究人员推出了一款名为Savvy的新系统，专为开放世界视频分割而设计，解决了长视频和动态视频中物体发现和身份维护的挑战。为了更好地评估此类系统，他们还提出了OGA，一个细粒度感知评估套件，它使用n:1匹配协议来适应预测中不同级别的细节。Savvy在ScanNet和HM3D等基准测试中表现出色，在身份持久性和集中度等各种指标上均优于现有方法。
-
Pano3D框架统一三维重建与全景分割
研究人员开发了Pano3D，一个统一三维重建和三维全景分割的新框架。通过为现有的三维重建模型增加一个基于集合的掩码解码器并采用联合几何和语义损失，该方法增强了三维重建中的语义理解。该方法在多个数据集上取得了最先进的性能，展示了联合训练过程带来的互利改进。
-
新方法匹配二维多边形以进行姿态估计
研究人员引入了一种新颖的预训练模型零样本多边形匹配（Z(PM)2）范式，以应对立体图像中二维多边形匹配的挑战。该方法利用Segment Anything Model等预训练模型将分割掩码矢量化为多边形表示，然后采用结合几何约束的全局和局部匹配策略。Z(PM)2在姿态估计方面表现出强大的性能，并引入了用于三维重建的多边形云概念，在多个数据集上超越了现有方法，且无需特定任务的训练。
-
机器人通过校准的基础模型数据提高地图精度
研究人员开发了一种新方法，以提高集成到机器人映射系统中的语义信息的可靠性。该方法校准基础模型声明的每类可靠性，并实施冲突丢弃窗口以拒绝与几何感知数据相矛盾的声明。在KITTI-360和ScanNet数据集上的评估表明，与现有方法相比，地图的准确性和精度有了显著提高。
-
Robust Dreamer 通过新的记忆技术改进增强现实视频生成
研究人员开发了 Robust Dreamer，一个旨在改进动作控制的增强现实（AR）视频生成的新框架。该系统通过使用潜在高斯记忆（Latent Gaussian Memory）来锚定扩散潜在变量，并采用偏差学习（Deviation Learning）和动态偏差档案（Dynamic Deviation Archive）来模拟和纠正推理过程中发生的错误，从而解决了长自回归序列中的视觉漂移和三维不一致等挑战。
-
新的DA-FSS模型改进了多模态少样本3D点云分割
研究人员引入了一个名为DA-FSS的新模型，以改进少样本3D点云分割。该模型通过解耦语义和几何处理路径，解决了“可塑性-稳定性困境”和CLIP的类间混淆问题。DA-FSS利用并行专家精炼模块和堆叠仲裁模块，更好地利用多模态信息，并在S3DIS和ScanNet等数据集上实现了卓越的泛化能力。
-
新型Transformer增强3D场景重建和边缘部署
研究人员开发了基于Transformer的新模型，用于从视觉输入进行3D场景重建。DVGT（Driving Visual Geometry Transformer）在无需显式几何先验的情况下，从无姿态的多视图图像中重建密集3D点图，并在多样化的驾驶数据集上进行训练。VG^2GT通过使用冻结的视觉基础模型和体素模块直接回归高斯原始参数来增强高斯溅射，从而降低了训练成本并优于现有方法。QVGGT通过引入量化框架，选择性地应用混合精度和令牌…