Depth Anything V2
PulseAugur coverage of Depth Anything V2 — every cluster mentioning Depth Anything V2 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
ComfyUI 节点将 2D 图像转换为 3D，用于音乐视频创作
一位用户使用了一个新的 ComfyUI 节点创建了一个音乐视频，该节点可以将 2D 图像转换为 3D。这个名为 ComfyUI-Y7-SBS-2Dto3D 的节点利用 depth-anything-v2 生成深度估计，然后创建并排或红蓝立体图像和视频。用户生成了 82 个场景，包含 49 个独特位置和三个角色，并注意到了一些故障，同时尝试了深度缩放。他们正在寻求关于该效果在不同硬件上表现如何的反馈。
-
微型无人机仅使用单目视觉进行室内导航以进行搜救
研究人员为用于搜救任务的微型无人机（UAV）开发了一种新颖的室内导航系统。该系统名为TRISTAR，仅使用单目视觉，无需昂贵的激光雷达或专用深度相机等硬件。它集成了来自Depth Anything V2的深度估计与经典计算机视觉技术，用于场景理解、受害者检测和危险识别。TRISTAR的一个关键特性是其三传感器融合方法，用于稳健的楼梯上升识别，结合了结构线索、纹理分析和几何深度。
-
新方法通过选择性深度监督改进稀疏视图神经重建
研究人员开发了一种通过选择性应用单目深度监督来改进户外驾驶场景中稀疏视图神经重建的方法。该技术使用 Depth Anything V2 提供密集几何先验，将其与度量深度对齐，并通过从仅 RGB 的基线模型派生的光度掩码进行监督。该方法在 Splatfacto 场景表示的渲染质量和度量几何方面在 KITTISeq02 数据集上显示出显著改进，而对 Mip-NeRF-360 的改进仅为边际增益。
-
新的 Krea-2 LoRA 模型支持深度控制的图像生成
新发布的 LoRA 模型 Patil/Krea-2-depth-controlnet 允许用户在通过文本提示改变图像内容和风格的同时，保持图像的 3D 结构。这种控制是通过使用 Depth Anything V2 提取深度图并将其集成到 Krea-2 生成过程中实现的。该模型兼容 Krea-2 Raw 和 Krea-2 Turbo，即使有提示引导也能保持高度的深度一致性。
-
新的LoRA模型支持Stable Diffusion构图控制；用户寻求Krea 2集成
一位用户开发并分享了一个名为krea2_controlnet_lora的LoRA（Low-Rank Adaptation）模型，用于Stable Diffusion，该模型允许使用Depth Anything V2地图和提示词进行构图控制。另一位用户正在询问将ControlNet功能与Krea 2集成的可能性，并指出与Z-Image Turbo等其他工具相比，Krea 2缺少此功能是一个显著的缺点，而Z-Image Turbo则无缝支…
-
新的足球视角合成方法使用深度引导和集成
研究人员开发了DENSER，一种使用深度引导和分阶段重建合成足球比赛新视角的新方法。该方法结合了基于摄像机高度的损失加权、来自Depth-Anything-V2的单目深度监督以改善纹理区域的几何形状，以及一个三模型集成以增强重建。DENSER在五个测试场景中取得了出色的性能，报告的指标包括平均PSNR为29.89 dB，SSIM为0.791，LPIPS为0.366。
-
新的深度补全模型在室外环境中使用稀疏雷达数据
研究人员开发了一种新颖的深度补全模型，该模型能够使用极其稀疏的深度测量（例如来自低成本雷达的测量）在具有挑战性的室外环境中准确地估计密集深度图。该模型基于Depth Anything V2架构，引入了一个“第四输入通道”来整合稀疏深度数据，使其能够克服低纹理和尺度模糊设置下的局限性。该系统在边缘设备上实现实时性能，适用于农业和水下探索等领域的移动机器人。
-
机器人利用AI驱动的深度估计进行导航，摒弃LiDAR
研究人员开发了一种新颖的机器人导航师生框架，该框架用基于视觉的单目深度估计取代了传统的LiDAR传感器。一个由特权LiDAR数据训练的教师策略，指导一个仅依赖于经过微调的Depth Anything V2模型生成的深度图的学生策略。这种纯视觉方法允许在NVIDIA Jetson Orin AGX等平台上进行完全的板载处理，在复杂3D环境中表现出优于标准LiDAR的性能。