ETH3D
PulseAugur coverage of ETH3D — every cluster mentioning ETH3D across labs, papers, and developer communities, ranked by signal.
-
新的EMCStereo方法增强了薄结构的深度估计
研究人员开发了EMCStereo，一种新颖的立体匹配方法，旨在改进树枝等薄结构的深度估计。该方法将三个轻量级注意力模块——高效多尺度注意力（EMA）、多尺度融合块（MSFblock）和坐标注意力（CoordAtt）——集成到一个PSMNet风格的骨干网络中，从而使模型仅略微增大且推理时间开销极小。为了评估EMCStereo，使用Unreal Engine 5创建了一个名为VirtualTree的合成数据集，其中包含薄树枝的精确视差标签…
-
Marigold V2 使用扩散 Transformer 推进单目深度估计
研究人员开发了 Marigold V2，这是单目深度估计领域的一项进展，它重新利用了扩散 Transformer (DiT) 架构。该新方法通过采用预训练流匹配模型的单步推理、与真实特征的语义对齐以及使用基于 Sinkhorn 的损失的新颖两阶段微调协议，实现了更清晰、更详细的深度图。Marigold V2 在 KITTI 和 ETH3D 等基准测试中显示出比先前模型显著的改进，并且在表面法线估计和内在图像分解等相关任务上也表现出最先进的性能。
-
新的Gekko方法在无需3D标签的情况下增强了3D视觉预训练
研究人员开发了一种名为Gekko的新型自监督预训练方法，用于3D计算机视觉任务。Gekko利用跨视图补全和掩码自编码之间的重建误差差异来创建共可见区域的信号。这种方法无需地面真实3D标注即可进行训练，并在对应估计和相对姿态估计等任务上展示了优于CroCo等现有方法的性能，准确率提高了六倍。
-
新方法利用重力先验简化绝对位姿估计
研究人员开发了一种新的物体绝对位姿估计方法，这对于机器人应用至关重要。该方法利用重力方向作为先验信息，将6-DoF问题简化为4-DoF估计。通过解耦变换并使用1D全局投票算法进行旋转估计，然后进行线性平移估计，该方法实现了更高的效率。进一步的精炼提高了旋转和平移的准确性，在合成和真实世界数据集上均优于现有的最先进方法，并在与ORB-SLAM2集成时改善了轨迹对齐。
-
PhasorNet 使用频域进行实时立体匹配
研究人员开发了 PhasorNet，一个用于实时立体匹配的新框架，该框架利用频域线索来提高在挑战性场景下的准确性。该系统包含一个相位增强Transformer (PAT)，将傅里叶衍生的相位信息整合到其注意力机制中，增强了其保持结构一致性的能力。此外，一个几何上下文融合细化模块 (GCFRM) 结合了卷积和基于注意力的流，以有效地保持精细细节和物体边界。PhasorNet 使用多尺度边缘引导高误差区域 (EHR) 损失进行训练，以较低…
-
新的Self-Geometry管道增强了3D视觉模型的一致性
研究人员开发了Self-Geometry，一种新颖的测试时适应管道，旨在增强3D视觉基础模型的几何一致性。该方法通过利用2D像素对应作为伪地面真实来直接施加显式的多视图几何约束，克服了先前依赖隐式自一致性方法的局限性。Self-Geometry集成了几何解耦优化、特定的视图采样器以及通过LoRA进行的轻量级适应，从而在多个模型和基准测试中提高了姿态和几何估计的性能。
-
新协议评估3D重建的可靠性，无需真实世界数据
研究人员开发了一种名为“Track-Leakage-Free Hold-Out Self-Validation”的新协议，用于在没有外部真实世界数据的情况下评估摄影测量检测的3D重建的可靠性。该协议涉及保留一部分图像，并将其重新定位到至少另外两张图像可见的点上，确保一个视图不会针对其创建的结构进行测试。虽然该协议在计算上是可靠的，并且可以指示内部几何一致性，但发现在跟踪绝对精度方面不可靠，并且无法可靠地排除重大故障，这在包括ETH3D…
-
STEREOFLOW 使用生成框架和扩散变换器推进立体匹配 · 已追踪 2 个来源
研究人员推出了一种新颖的立体匹配生成框架 STEREOFLOW，该框架解决了传统确定性回归方法的局限性。这种新方法将确定性匹配与生成模型相结合，利用了一个两阶段级联网络、一个名为 StereoDiT 的像素扩散变换器以及一个称为 Transition Flow Matching 的流匹配目标。STEREOFLOW 在具有挑战性的区域展现出强大的几何一致性和细节，在包括 Scene Flow、KITTI、ETH3D 和 Middlebu…
-
新方法使用潜在空间流匹配增强3D场景生成
研究人员开发了一种名为潜在黎曼流匹配的新方法，以改进使用几何基础模型的3D场景生成。该技术在Visual Geometry Grounded Transformer (VGGT)等模型的潜在空间内运行，能够从稀疏输入生成更合理的几何形状。通过在超球体乘积流形上定义黎曼流匹配框架，该方法尊重VGGT的潜在几何特性，在RealEstate10K、ScanNet++和ETH3D等数据集上优于现有的场景生成基线。
-
新的 EpiDistill 方法利用几何先验增强单目深度估计
研究人员开发了一个名为外极线蒸馏（EpiDistill）的新框架，以改进人工智能模型中的单目深度估计。该方法将来自多视图模型的尺度感知几何先验转移到单视图模型，从而实现更好的几何一致性和尺度对齐。EpiDistill 利用校正立体声令牌（Rectified Stereo Tokens）来保持外极线注意力模式，而无需在推理过程中进行多视图输入。实验表明，在 ETH3D 和 DIODE 等具有挑战性的数据集上，零样本度量深度估计有了显著改…
-
新的立体匹配方法提高了准确性和效率 · 2篇论文集锦
两篇新研究论文介绍了立体匹配的新方法，立体匹配是一项计算机视觉任务，专注于从二维图像重建三维场景。WAVE-Stereo提出了一种结合相关体积和特征变形的方法，以提高准确性和效率，并在多个基准测试中取得了有竞争力的结果。第二篇论文《Rethinking Monocular Depth Embedding for Generalized Stereo Matching》侧重于将单目深度信息整合到立体匹配中，以增强泛化能力和准确性，尤其是…
-
新的运动恢复结构方法结合基础模型和深度先验以改进3D重建 · 跟踪到4个来源
两篇新的研究论文介绍了先进的运动恢复结构（SfM）重建方法。Glob3R利用3D基础模型并优化前馈几何预测，以实现鲁棒且准确的场景重建。DGSfM通过整合单目深度图作为先验来增强全局SfM，通过深度感知求解器和一致性检查来提高鲁棒性和姿态准确性。
-
新的URS-Stereo框架通过不确定性引导增强实时立体匹配
研究人员开发了URS-Stereo，一个新颖的实时立体匹配框架，专为需要速度和精度的应用而设计，例如机器人和自主系统。该系统引入了一个不确定性引导残差搜索模块（UGRSM），该模块可预测传播的视差估计的可靠性。该模块自适应地调整局部成本体积的搜索区域，在不牺牲计算效率的情况下提高了对应估计的鲁棒性。在包括SceneFlow、KITTI、Middlebury和ETH3D在内的各种数据集上的实验表明，URS-Stereo在保持实时性能的同…
-
新的注意力机制提高了立体匹配的准确性和效率
两篇新研究论文介绍了用于立体匹配的新型注意力机制，立体匹配是3D重建的关键计算机视觉任务。第一篇论文MatchAttention将显式匹配约束嵌入注意力机制，实现了线性复杂度和在Middlebury V3和KITTI等基准测试中的最先进准确度。第二篇论文GREATEN将表面法线作为几何线索，以改善合成到真实场景的泛化能力，解决了纹理缺失和非朗伯表面区域的挑战，并利用稀疏注意力设计来提高效率。
-
通过具有可学习代数群和环结构的神经网络进行单目深度估计
研究人员开发了LAGRNet，这是一个用于单目深度估计的新框架，它融入了代数几何原理。与先前将深度估计视为通用回归问题的先前方法不同，LAGRNet明确地将可学习的群、环和层结构嵌入其深度学习流程中。这种方法旨在强制执行投影等变性并确保全局拓扑一致性，从而在KITTI和NYU-Depth V2等基准测试中提高准确性和泛化能力。