Visual Geometry Grounded Transformer
PulseAugur coverage of Visual Geometry Grounded Transformer — every cluster mentioning Visual Geometry Grounded Transformer across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
EventVGGT框架通过跨模态蒸馏增强深度估计
研究人员开发了EventVGGT，一个新颖的用于事件单目深度估计的框架，该框架解决了密集深度标注稀缺的问题。该方法通过将事件流视为连贯的视频序列，利用来自视觉基础模型（VFMs）的跨模态蒸馏，从而捕获时间连续性和先验知识。该框架采用三级蒸馏策略，包括跨模态特征混合、时空特征蒸馏和时间一致性蒸馏，以提高深度预测的准确性和时间一致性。实验表明，EventVGGT的性能显著优于现有方法，在EventScape数据集上将30米处的绝对平均深度…
-
RegimeVGGT通过分层压缩加速3D场景重建
研究人员开发了RegimeVGGT，一种提高视觉几何基础Transformer（VGGT）在3D场景重建中效率的方法。与之前应用统一计算缩减的方法不同，RegimeVGGT使用针对不同网络层特定需求的量身定制的分层压缩。这种方法可以保护显著的token并保留姿态估计的关键信息，从而在不牺牲重建质量的情况下显著提高速度。
-
RegimeVGGT 通过逐层压缩加速三维场景重建
研究人员开发了 RegimeVGGT，一种加速视觉几何基础 Transformer (VGGT) 进行三维场景重建的新方法。通过分析逐层的计算需求，RegimeVGGT 应用了有针对性的压缩技术，包括显著性引导合并和选择性下采样，以在不牺牲重建质量的情况下减少冗余。该方法比原始 VGGT 实现了 6.7 倍的加速，使得密集三维场景结构恢复更具可扩展性。
-
新的MVM-IOD数据集评估工业环境中的三维重建
研究人员推出了机器视觉计量工业对象数据集（MVM-IOD），这是一个旨在评估工业环境中三维重建和相机位姿估计方法的新基准。该数据集使用机器人安装的相机对工业对象进行系统性图像捕获，为18个场景提供参考相机位姿和三维点云。使用MVM-IOD进行的初步评估表明，当前的前馈方法在处理分布外图像时可能产生次优结果，这提示在某些工业任务中应用这些方法时应谨慎。
-
新的FGQ方法大幅缩小了视觉几何Transformer模型尺寸
研究人员开发了一种新的训练后量化方法，称为Fisher引导量化（FGQ），以减少视觉几何基础Transformer（VGGT）的内存和计算开销。这些模型用于3D视觉任务，如深度估计和相机姿态预测，拥有数十亿个参数，阻碍了在设备上部署。FGQ通过使用Fisher信息矩阵来指导量化过程并保留关键组件，解决了模型不同部分在不同任务上对量化误差的敏感度差异问题。
-
超越高斯瓶颈：视觉 Transformer 特征空间的拓扑对齐编码
研究人员开发了一种名为 S$^2$VAE 的新潜在学习框架，旨在改进视觉世界模型中 3D 几何和相机动力学的表示。该方法采用几何优先视角，专注于压缩场景的潜在 3D 状态（包括相机运动和深度），而不仅仅是外观。通过采用一种在瓶颈中具有超球体结构的新型变分自编码器，S$^2$VAE 旨在高压缩率下保留方向和几何语义，在深度估计和姿态恢复等任务中表现优于传统高斯瓶颈。