3D foundation models
PulseAugur coverage of 3D foundation models — every cluster mentioning 3D foundation models across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新框架实现类别无关的3D形状编辑
研究人员开发了CNS-Edit++，一个用于以类别无关方式编辑3D形状的框架。该方法利用耦合神经形状表示，结合用于语义理解的全局潜在代码和用于空间操作的3D神经特征体。优化过程允许进行各种编辑操作，如复制、调整大小、删除、混合和拖动形状的部件，同时通过KV缓存替换和潜在特征正则化来保留未受影响的区域。评估表明，CNS-Edit++在不同3D生成模型上的表现优于现有解决方案。
-
3D基础模型革新植物表型分析，大幅缩短重建时间
研究人员开发了一个新的3D植物表型分析框架，该框架利用3D基础模型（3DFMs）显著加速了重建过程。该方法用前馈几何恢复系统取代了COLMAP等传统方法，并结合3D高斯溅射进行密集重建。该框架还支持少视角重建，并将3D几何转换为可测量的表型数据。实验表明，重建时间从六分多钟大幅缩短到一秒多，同时保持了高精度。
-
新框架将3D模型应用于卫星多视图重建
研究人员开发了EO-VGGT，一个旨在将现有3D基础模型应用于卫星多视图重建的新框架。该框架解决了标准模型中隐式的透视假设与卫星影像明确的轨道推扫几何之间的几何差异。EO-VGGT采用几何相关约束选择策略来优化观测序列，并采用传感器射线编码器将像素级视线转换为几何令牌，然后通过轻量级适配器集成到模型中。研究结果强调了整合明确的物理几何和优化的视图选择对于有效的卫星3D重建的重要性。
-
新的EPO框架在无需特征提取的情况下提高了3D基础模型的准确性
研究人员开发了一个名为基于边缘的姿态优化（EPO）的新框架，以提高3D基础模型的准确性。与需要大量特征提取和匹配的传统方法不同，EPO使用边缘图对齐作为几何优化的代理。这种方法避免了显式轨迹构建的需要，显著降低了运行时间和内存需求。评估表明，EPO在性能上可与传统的Bundle Adjustment类方法相媲美或超越，同时适用于消费级硬件。
-
本地 AI 工具涌现：离线听写、3D 模型、GPU 加速与 Mac 容器
本周的 AI 新闻重点介绍了用于增强本地 AI 部署的工具和技术。FluidVoice 在 macOS 上提供快速、私密的离线听写功能，而一个新的 3D 基础模型可以从流式数据中重建场景。对于 GPU 加速，CuPy 优化了消费级 NVIDIA GPU 上的 AI 工作负载，并且有一篇指南详细介绍了 NVIDIA Jetson 平台上的 FFmpeg 硬件加速。此外，Apple 的新“容器”工具允许在 Apple Silicon Ma…
-
新的三维优化框架提升视频深度估计
研究人员为自监督单目视频深度估计开发了一种新颖的三维一致性优化框架。该新方法将序列视频深度估计视为多视图三维重建问题，并利用了近期三维基础模型。该框架结合了光度渲染、世界坐标中的几何对齐以及多尺度时间梯度一致性，将关键帧锚定到连贯的三维结构中。该方法在训练和零样本临床环境中均展现了最先进的空间精度，优于现有的基于帧、基于视频和多视图三维重建基线。
-
GeoVR框架为多模态大语言模型增加3D空间感知能力
研究人员开发了GeoVR，一个旨在为多模态大语言模型（MLLMs）注入3D空间感知能力的新框架。该框架仅使用2D视频序列，通过从现有的3D基础模型中提炼几何知识到MLLMs中来实现。该框架采用多目标学习策略，包含四个几何目标，如相机姿态估计和深度图回归，以增强模型的内部表示。实验表明，GeoVR在空间推理基准测试中取得了最先进的性能，为开发空间智能基础模型提供了一种新方法。
-
新方法增强3D基础模型的微调
研究人员开发了一种有效微调3D基础模型的新方法，解决了纹理、几何、相机运动和光照变化带来的挑战。该方法包括生成具有受控变化的合成数据集，在这些数据集上微调LoRA适配器，以提取每种变化类型的不同、近似解耦的子空间。整合这些子空间会产生一个简化的LoRA子空间，从而提高下游任务的预测准确性，并展示了对真实世界数据集的泛化能力。
-
PaGeR框架改编3D模型以进行360度全景场景重建
研究人员开发了PaGeR框架，该框架能够将最初为透视图像设计的现有3D基础模型改编，以从单个全景图像重建完整的360度场景。这种方法允许对尺度不变深度、度量深度、表面法线和天空掩码进行统一的单通道估计。通过最小化架构更改并混合使用透视和全景数据进行训练，PaGeR保留了底层模型的3D先验，同时实现了360度场景的统一估计，并达到了最先进的性能。