新的 Vision Transformer 框架增强了稀疏 dToF 深度补全

研究人员开发了一种新的框架，用于从稀疏的直接飞行时间 (dToF) 传感器进行密集度量深度补全。该方法利用一个深度引导的双分支 Vision Transformer 编码器，该编码器分别处理 RGB 图像和稀疏 dToF 测量，并通过掩码联合注意力模块有效引导图像特征的深度令牌。该系统完全在由全面的 dToF 模拟管道生成的合成数据上进行训练，该管道复制了各种传感器类型和退化特性。这种方法在多个数据集和真实世界的 dToF 设备上实现了强大的零样本泛化能力，在准确性和计算效率方面优于现有方法。 AI

影响 这项研究通过从稀疏传感器数据中生成更密集的深度图，有望改善机器人和扩展现实等应用的 3D 感知。

排序理由 该集群包含一篇详细介绍传感器数据深度补全新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• arXiv
• dToF
• extended reality
• RGB color model
• time of flight
• virtual reality
• vision transformer

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →