Nerf
PulseAugur coverage of Nerf — every cluster mentioning Nerf across labs, papers, and developer communities, ranked by signal.
- subsidiary of Hasbro 100%
- instance of Gotit.pub 90%
- instance of ScienceCast 90%
- instance of CatalyzeX 90%
- instance of alphaXiv 90%
- instance of Neural radiance field 90%
- instance of CORE Recommender 90%
- used by alphaXiv 70%
- used by ScienceCast 70%
- used by CatalyzeX 70%
- used by Gotit.pub 70%
- used by Neural radiance field 70%
7 天有情绪数据
-
MoonGS框架使用高斯溅射重建月球表面
研究人员开发了MoonGS，一个新颖的3D高斯溅射框架，用于从稀疏的火星车图像中高质量地重建月球表面。该框架可以在单次前向传播中生成照片般逼真的新视图，无需每场景优化，并集成了先进的视觉基础模型来提取鲁棒的深度特征。MoonGS还结合了语义先验和熵引导重采样策略，以提高准确性和视觉质量，其性能优于现有的前馈NeRF和3DGS方法。
-
DySurface框架融合显式高斯与隐式函数，实现动态场景几何重建
研究人员推出DySurface，一个旨在提高动态场景中时间一致几何表面重建的新框架。该方法结合了显式3D高斯泼溅（3DGS）和隐式符号距离函数（SDFs）的优势。DySurface通过使用变形高斯来引导隐式SDF场，解决了纯粹光度优化方法中常见的几何模糊性挑战，从而增强了表面细节和连续性。
-
新研究探索4D场景重建技术 · 追踪4个来源
四篇最新的arXiv论文探讨了4D场景重建领域的进展，该领域专注于从视觉数据中捕捉不断变化的几何形状、外观和运动。Sparc4D为动态场景引入了一个紧凑的自编码器，而ARROW提出了一种用于任意重建和跟踪的前馈模型。第三篇论文提供了4D场景重建的统一视角，组织了现有方法并指出了挑战。第四篇论文HARMONI提出了一个对齐人类和场景先验的框架，以提高多视角4D重建的准确性和速度。
-
SVRecon框架实现高分辨率神经表面重建
研究人员推出了一种新颖的可泛化神经表面重建框架——稀疏体素重建（SVRecon）。该方法通过采用学习到的由占用驱动的稀疏性来解决先前方法的内存限制，从而可以在标准硬件上实现高分辨率重建。SVRecon采用两阶段架构，首先识别包含表面的体素，然后在这些占用区域内进行渲染，从而实现更精细的细节和更平滑的表面，尤其是在稀疏视图场景下。
-
港科大研究人员将人工智能与3D几何相结合，以增强视觉一致性
香港科技大学的研究人员，由谭平教授领导，正在探索将深度学习模型与传统3D几何技术相结合，以增强3D视觉任务中的全局一致性。他们的工作解决了当前大型视觉模型的一些局限性，例如不同视角的结构不一致以及物体排列不合逻辑。通过将神经网络学习到的强大局部先验与显式的3D几何约束相结合，他们旨在提高3D重建和场景生成的扩展性和连贯性，尤其是在大规模环境中。
-
新的NeRF框架可从有限的X射线视图重建三维冠状动脉
研究人员开发了NeCA++，一个新颖的多阶段神经辐射场（NeRF）框架，用于从有限的、窄角的X射线血管造影投影进行三维冠状动脉重建。这种自监督方法解决了仅有两个低角度二维图像可用时重建三维血管结构的挑战，而这种情况在临床实践中很常见。该框架通过首先建立粗略的三维表示，然后专注于解剖学上合理的区域内的高分辨率细节，逐步改进重建，从而提高准确性和稳定性。
-
新的基准 EditBench3D 评估超越语义对齐的 3D 场景编辑
研究人员推出了 EditBench3D，这是一个新的基准，旨在评估超越简单语义对齐的 3D 场景的可编辑性。该基准评估四个关键属性：指令保真度、空间局部性、跨视图一致性和非目标内容保持性。对包括 NeRF 和 3D Gaussian Splatting 技术在内的八种代表性编辑方法的评估显示，语义保真度与其他编辑属性仅有微弱的相关性，并且没有一种方法在所有维度上都表现出色。研究结果表明，可编辑性应报告为多目标画像而非单一分数。
-
新型Transformer模型从稀疏图像重建3D曲线
研究人员开发了CGGT（Curve-Grounded Geometry Transformer），一种旨在从稀疏、未姿态的多视图图像中重建可编辑的3D参数化曲线的模型。该新方法绕过了现有NeRF和3DGS方法中常见的密集相机视图或昂贵的每场景优化需求。CGGT集成了用于特征学习的Transformer编码器和用于实例关联的掩码注意力解码器，使其能够单次预测相机参数、深度图和曲线掩码。该系统在Wireframe-100K（一个包含10万…
-
JAX3D 支持分层 NeRF，实现高级三维渲染和重建
研究人员开发了一种使用 JAX 和 jax3d 库创建分层神经辐射场（NeRF）的方法。该方法支持体积渲染、新视角合成和三维重建。本教程详细介绍了构建合成数据集、实现带有位置编码和分层采样的 NeRF，以及使用 JAX 的 JIT 编译和 Adam 优化进行训练的过程。结果通过 PSNR 等指标以及深度、不透明度和提取几何形状的视觉输出来评估。
-
新的3D点绘制渲染器推进了毫米波雷达新视角合成
研究人员开发了3D点绘制（3DPS），这是一种新颖的可微分点渲染器，专门用于毫米波雷达新视角合成。这种新方法通过物理保真、复数值和多视角可处理性来解决现有技术的局限性。与光学新视角合成基线相比，3DPS取得了卓越的性能，在室外场景中的相关性提高了1.7倍至5.2倍，在RTX 4090上的训练时间约为每场景三分钟。
-
PointSplat 减少 3D 模型冗余以实现沉浸式流媒体 · 跟踪到 1 个来源
浙江大学、ByteDance 和香港中文大学（深圳）的研究人员开发了 PointSplat，这是一种创建更紧凑的 3D 人体表示的新颖方法。该方法将以视图为中心的方法转变为以人为中心的方法，旨在通过首先建立粗略的人体几何代理来减少 3D 高斯泼溅 (3DGS) 中的冗余。通过将光线投射到该代理上并过滤掉不相关的点，该方法有效地融合了多视图几何和外观信息来预测高斯属性，从而解决了沉浸式直播等实时 3D 应用的存储和传输挑战。
-
AccidentSim 从事故报告生成逼真的车辆碰撞视频
研究人员开发了 AccidentSim，这是一个旨在为自动驾驶研究生成逼真车辆碰撞视频的新框架。该系统从真实事故报告中提取物理线索和上下文信息，以创建准确的碰撞后车辆轨迹。AccidentSim 利用物理模拟器构建数据集，微调语言模型进行轨迹预测，并采用神经辐射场 (NeRF) 进行高质量视频渲染，从而生成在视觉和物理上都真实的视频。
-
新的3D形态扰动提高了视频模型深度精度
研究人员开发了一种新的无优化正则化器，称为3D形态扰动，用于改进NeRF和3D高斯泼溅（3DGS）等3D场景表示。该方法将3DGS中的每个高斯视为基本单元，并对其尺度、旋转和修剪参数应用扰动。该方法消除了在数据集策展期间进行昂贵的每场景3DGS优化的需求，并使模型能够学习更强的几何先验。当通过ControlNet集成到具有140亿参数的视频模型中时，它将平均深度误差降低了12.5%，并将机器人策略在操作任务上的成功率提高了多达8.0%。
-
自动化3D流程提取玉米穗性状用于育种分析
研究人员开发了一种自动化流程，用于从玉米穗的3D重建中提取关键性状，以解决育种项目中手动测量速度缓慢的问题。该系统通过COLMAP和NeRF处理视频帧，创建3D点云，然后使用Cellpose-SAM进行校准和分割。这种自动化方法在确定籽粒数量和行数方面取得了高精度，生成了适用于基因型-表型关联研究的数据集。
-
RefracGS 框架能够通过折射水面进行新视角合成
研究人员开发了 RefracGS，一个用于合成透过折射水面观察场景的新视角的新颖框架。与先前假设直线射线传播的方法不同，RefracGS 分别显式地建模折射边界和底层场景。它使用水面的神经高度场和场景的 3D 高斯场，采用基于斯涅尔定律的感知折射的射线追踪方法进行精确渲染。该方法实现了高保真视角合成和表面恢复，实验结果表明与现有技术相比，训练速度和实时渲染速度显著提高。
-
NeRF方法在沉浸式教育3D重建领域领先 · 跟踪2个来源
一项最新研究比较了四种3D重建方法——摄影测量法、基于NeRF的方法、高斯溅射法和LiDAR——用于为教育目的创建实验室对象的逼真全息表示。基于NeRF的方法表现出卓越的性能，尤其是在处理透明或反光物体时，并且通常比纹理更准确地再现形状和颜色。该研究概述了一个实用的工作流程，用于开发沉浸式学习对象，以增强增强现实和混合现实教育环境中的空间推理和参与度。
-
新的Intrinsic PAPR框架解决了3D场景渲染的错误归因问题
研究人员推出Intrinsic PAPR，一个旨在通过解决错误归因问题来改进3D内在分解的新框架。当各个场景元素错误地学习外观特征时，就会出现此问题，尽管整体渲染是准确的。Intrinsic PAPR利用Proximity Attention Point Rendering (PAPR) 来实现对每个点特征的直接监督，克服了传统体积渲染方法的局限性。该框架还纳入了2D反照率先验和空间雕刻损失，以提高准确性和多视图一致性。
-
新型滤波器解决了动态场景中4D高斯表示的混叠问题
研究人员开发了一种新的运动感知滤波技术，以减少4D高斯表示中的混叠伪影。4D高斯表示用于在AR/VR应用中合成动态场景的新颖视图。现有方法，如将3D高斯泼溅和神经辐射场应用于动态场景，仍然存在混叠问题，尤其是在缩放操作期间。所提出的滤波器根据局部运动信息调整其强度，在不降低渲染质量的情况下有效减轻混叠。该方法估计时间和焦距与深度比的联合密度函数，并可与各种4D表示集成，在标准数据集上表现出卓越的性能。
-
FixAnything模型利用视频生成先验精炼3D渲染伪影
研究人员开发了FixAnything，一个旨在精炼3D渲染并修复高斯喷溅和NeRF等各种表示中的伪影的新模型。该模型重新利用了预训练的视频生成模型，将渲染清理视为一个视频到视频的转换任务。通过使用二值掩码来识别干净像素，并采用直接偏好优化（Direct Preference Optimization）以及相机姿态准确性作为奖励信号，FixAnything只需极少的微调即可实现3D一致的结果，提供了一个可以替代多个专业精炼管线的通用解决方案。
-
HistReNeRF框架在3D场景中重新定位历史照片
研究人员开发了HistReNeRF，一个新颖的框架，旨在将历史照片准确地重新定位到当代3D场景重建中。该方法解决了历史和现代图像在外观、物体和空间布局上的差异带来的挑战。通过适配DINOv2补丁特征并查询神经辐射场（NeRF）重建，HistReNeRF可以估计历史照片的6-DoF位姿。在新欧洲地标数据集上的评估表明，这种嵌入空间适配将平移和旋转误差平均分别降低了11%和16%，优于像素空间方法。