Depth Anything V2
PulseAugur coverage of Depth Anything V2 — every cluster mentioning Depth Anything V2 across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
Video Depth Anything 改进了长视频的深度估计
研究人员开发了 Video Depth Anything，一种用于超长视频一致性深度估计的新颖方法。该新方法基于 Depth Anything V2 模型，并结合了高效的时空头和时间深度梯度损失，可在不依赖外部几何先验的情况下保持一致性。该方法专为超过数分钟的视频设计，在零样本视频深度估计方面展现了最先进的性能，并提供了可实现实时性能的模型。
-
新AI模型DeBoneDiT增强胸部X光片骨骼抑制效果
研究人员开发了DeBoneDiT，这是一种新颖的扩散Transformer架构，旨在改善胸部X光片的骨骼抑制效果。该方法通过使用深度驱动方法、结构感知视觉分词器和条件布朗桥扩散过程，解决了现有扩散模型的局限性。研究团队还发布了SZCH-X-Rays，这是该任务最大的公开数据集，并证明DeBoneDiT以更低的计算成本实现了卓越的性能。
-
音乐家使用 Stable Diffusion 和 ControlNet 创建实时音乐视频
一位音乐家使用本地设置创建了一个实时的、音频响应式的音乐视频，该设置结合了带有 LCM 和深度 ControlNet 的 Stable Diffusion 1.5。该过程包括拍摄素材、分析音频以实现实时响应，然后应用 AI 传递来转换每一帧。AI 生成使用提示来创建带有 Madhubani 图案填充的日本水墨画笔触轮廓，并采用混合技术来创造闪烁效果。
-
DA360模型通过尺度不变性增强360度深度估计
研究人员开发了DA360，这是Depth Anything V2模型的全景适应版本，用于改进360度深度估计。该新框架利用了现有的DAV2模型的零样本泛化能力，并采用了轻量级适应过程。DA360从ViT类令牌中学习每张图像的偏移量，以实现尺度不变监督，并将循环填充集成到DPT解码器中以消除接缝伪影，从而获得更准确的3D点云和更好的空间一致性。
-
新方法 PixelDense 和 Persistence Forcing 提升扩散模型性能
研究人员开发了两种新颖的技术来增强像素空间扩散模型。PixelDense 通过分别对齐语义和几何特征来改进训练，从而在图像重建和编辑等任务上获得更好的性能。Persistence Forcing (PerF) 利用扩散 Transformer 中的特征专业化，为编码全局结构与局部细节的特征分配不同的细化预算，从而提高了 ImageNet 上的图像生成质量。
-
DriveZero自动驾驶系统学习超越人类演示
研究人员推出了DriveZero，这是一个端到端的自动驾驶系统，它超越了模仿人类驾驶数据。DriveZero将驾驶任务分解为感知模型（DriveVFM）和动作模型（DriveRL）。DriveVFM使用原始图像整合了DINOv3和SigLIP2等各种视觉基础模型，而DriveRL则在模拟交互式世界中使用强化学习来学习驾驶行为。该系统在nuPlan、NAVSIMv1、NAVSIMv2和HUGSIM等基准测试中取得了最先进的性能，超越了人…
-
新方法为无深度目标检测蒸馏可靠几何信息
研究人员开发了一种名为“方法”的新型RGB-D显著目标检测框架，克服了传感器深度数据不可靠的限制。该方法在训练过程中使用预训练的Depth Anything V2模型作为教师，将相对几何和边界结构等关键几何信息蒸馏到一个边缘感知几何分支中。至关重要的是，该框架在训练或推理过程中不依赖数据集提供的深度信息，并且在训练后移除教师模型，从而得到一个高效的仅RGB推理网络。该方法在多个基准测试中展示了最先进的性能，显著降低了平均绝对误差并提高…
-
AI模型被改编用于精确的月球表面高度估算
研究人员改编了Depth Anything V2基础模型，以改进未来太空任务的月球表面高度估算。通过使用现有的月球立体摄影测量法衍生的数字高程模型对模型进行微调，他们在原始的零样本模型上取得了显著的性能提升。这种增强的能力将有助于月球着陆的危险定位。
-
二维视觉模型在车辆属性识别方面优于三维感知模型
一篇新论文评估了14个最先进的二维和三维感知视觉基础模型在车辆属性识别方面的表现。研究发现，标准的二维自监督模型，特别是DINOv3，在细粒度的品牌和型号识别等任务上表现优于三维感知模型。然而，三维感知模型Depth Anything v2在车辆类型分类的视角变化鲁棒性方面表现更好，这表明了混合方法的潜力。
-
新的AI模型可从航空影像估算飓风碎片体积
研究人员开发了DebrisHeightNet，一个用于从单张航空RGB影像估算飓风碎片体积的新颖系统。该方法使用基于冻结基础模型的轻量级网络，通过回归高度并以碎片分割为条件。为了克服缺乏地面真实数据的问题，他们使用置信度加权的LiDAR-单目融合技术合成了训练目标。该系统的估算结果与独立的无人机调查结果非常吻合，并且显著优于传统的参数化预测，为碎片评估提供了更准确、更有效的方法。
-
标志性语言识别模型使用合成深度图像
研究人员开发了使用深度图像衍生的点云进行标志性语言识别的新模型。该研究比较了使用PointNet架构和原始及合成生成的深度图像的分类准确性。使用了三个数据集——实时ASL拼写、KArSL和AUTSL，模型采用了基于帧、点手势图和长短期记忆数据结构。虽然基于原始深度数据的模型通常优于合成数据模型，但一些合成模型表现更优。
-
新的 ControlNet 方法将姿态和深度集成到 FLUX.2 模型中
一种新的方法已被开发出来，用于将姿态和深度控制集成到 FLUX.2 系列图像生成模型中。该方法利用现有的姿态、深度或边缘映射 ControlNet 模型，然后将这些模型作为参考图像输入到 FLUX.2 中。与传统方法不同，该技术不需要 FLUX.2 变体使用加载器链或额外的权重，从而使结构控制在整个系列中变得免费且一致。
-
新方法增强了在挑战性场景中的单目深度估计
研究人员开发了新的方法来提高在具有挑战性的视觉场景中的单目深度估计（MDE）。一种方法 CapDepth，利用详细的长标题来指导深度解码，在非朗伯表面和恶劣天气下实现了显著的误差降低。另一种方法侧重于通过约束梯度域的预测和在训练期间采用随机色调映射增强来增强非朗伯表面的 MDE 鲁棒性。
-
新发现的单目深度模型“3D幻象”失效模式
研究人员发现了一种新的单目深度估计模型失效模式，称为“3D幻象”。这种现象发生在模型从模糊输入中产生幻觉般的3D结构，尽管它们具有出色的泛化能力。该论文提出了一个框架来探测、评分和缓解这一安全风险。它包括一个新的基准测试“3D-Mirage”，并提出了偏差复合分数（DCS）和混淆复合分数（CCS）等指标来评估结构和上下文鲁棒性。提出了一种名为“接地自蒸馏”的参数高效策略，以解决幻觉问题而不引起灾难性遗忘。
-
ComfyUI 节点将 2D 图像转换为 3D，用于音乐视频创作
一位用户使用了一个新的 ComfyUI 节点创建了一个音乐视频，该节点可以将 2D 图像转换为 3D。这个名为 ComfyUI-Y7-SBS-2Dto3D 的节点利用 depth-anything-v2 生成深度估计，然后创建并排或红蓝立体图像和视频。用户生成了 82 个场景，包含 49 个独特位置和三个角色，并注意到了一些故障，同时尝试了深度缩放。他们正在寻求关于该效果在不同硬件上表现如何的反馈。
-
微型无人机仅使用单目视觉进行室内导航以进行搜救
研究人员为用于搜救任务的微型无人机（UAV）开发了一种新颖的室内导航系统。该系统名为TRISTAR，仅使用单目视觉，无需昂贵的激光雷达或专用深度相机等硬件。它集成了来自Depth Anything V2的深度估计与经典计算机视觉技术，用于场景理解、受害者检测和危险识别。TRISTAR的一个关键特性是其三传感器融合方法，用于稳健的楼梯上升识别，结合了结构线索、纹理分析和几何深度。
-
新方法通过选择性深度监督改进稀疏视图神经重建
研究人员开发了一种通过选择性应用单目深度监督来改进户外驾驶场景中稀疏视图神经重建的方法。该技术使用 Depth Anything V2 提供密集几何先验，将其与度量深度对齐，并通过从仅 RGB 的基线模型派生的光度掩码进行监督。该方法在 Splatfacto 场景表示的渲染质量和度量几何方面在 KITTISeq02 数据集上显示出显著改进，而对 Mip-NeRF-360 的改进仅为边际增益。
-
新的 Krea-2 LoRA 模型支持深度控制的图像生成
新发布的 LoRA 模型 Patil/Krea-2-depth-controlnet 允许用户在通过文本提示改变图像内容和风格的同时，保持图像的 3D 结构。这种控制是通过使用 Depth Anything V2 提取深度图并将其集成到 Krea-2 生成过程中实现的。该模型兼容 Krea-2 Raw 和 Krea-2 Turbo，即使有提示引导也能保持高度的深度一致性。
-
新的LoRA模型支持Stable Diffusion构图控制；用户寻求Krea 2集成
一位用户开发并分享了一个名为krea2_controlnet_lora的LoRA（Low-Rank Adaptation）模型，用于Stable Diffusion，该模型允许使用Depth Anything V2地图和提示词进行构图控制。另一位用户正在询问将ControlNet功能与Krea 2集成的可能性，并指出与Z-Image Turbo等其他工具相比，Krea 2缺少此功能是一个显著的缺点，而Z-Image Turbo则无缝支…
-
新的足球视角合成方法使用深度引导和集成
研究人员开发了DENSER，一种使用深度引导和分阶段重建合成足球比赛新视角的新方法。该方法结合了基于摄像机高度的损失加权、来自Depth-Anything-V2的单目深度监督以改善纹理区域的几何形状，以及一个三模型集成以增强重建。DENSER在五个测试场景中取得了出色的性能，报告的指标包括平均PSNR为29.89 dB，SSIM为0.791，LPIPS为0.366。