Nerf
PulseAugur coverage of Nerf — every cluster mentioning Nerf across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
X-Splat 使用高斯溅射法从单张X光片生成3D牙科影像
研究人员开发了X-Splat，一个利用高斯溅射法从单张全景X光片生成3D锥形束CT（CBCT）牙科影像的新框架。该方法通过采用可学习的高斯基元，并受比尔-兰伯特重投影和放射学监督的约束，解决了从2D图像生成3D数据的欠定性问题。X-Splat通过精确重建清晰的解剖边界（包括下颌管等关键结构）优于现有的基于NeRF和GAN的方法，而这些方法之前未能捕捉到这些结构。
-
新研究探索先进的3D医学图像分割技术
两篇新研究论文探索了3D医学图像分割的先进技术。第一篇Consispace介绍了一个语义感知的重采样框架，旨在通过确保一致的体素间距并利用深度特征进行切片内相关性来提高分割精度。第二篇论文介绍了DivAS，一个交互式3D分割框架，它使用深度加权的体素聚合，并且设计用于处理各种3D场景表示，如Gaussian Splatting和NeRF，而无需进行特定于表示的优化。
-
新方法推动全景图像室内三维场景重建加速 · 追踪4个来源
研究人员提出了两种从全景图像进行三维室内场景重建的新方法。Argus 在新的 Realsee3D 数据集上进行训练，利用学习到的共视模块精确锚定度量世界坐标系，并在姿态、深度和点云重建方面取得了最先进的性能。FastPano3D 提供了一个快速、端到端的框架，可在几秒钟内从单个全景图像生成三维高斯表示，在推理速度和参数效率方面优于以前的方法，同时保持可比的渲染质量。
-
新的 RLHF 方法直接根据人类偏好微调 3D GAN
研究人员开发了一种新颖的方法，使用来自人类反馈的强化学习 (RLHF) 来微调 3D 感知生成模型，特别是名为 EG3D 的人脸 GAN。该方法直接优化神经辐射场 (NeRF) 密度，无需网格等显式表面表示。该系统在少量偏好样本上进行训练，并在 3D 几何方面显示出显著的改进，微调后的生成器在超过 74% 的比较中产生了用户更喜欢的人脸几何。虽然此方法会引入可衡量的分布成本，但它为提高 3D 生成质量提供了更直接的途径。
-
基于 NeRF 的三维检测器改进自动驾驶感知
研究人员开发了一种新颖的、类似 NeRF 的基于点的三维检测器 (NeRP3D)，它解决了当前自动驾驶 NeRF 模型预训练的局限性。现有方法强制 NeRF 处理视图变换，产生冲突的表示，导致三维场景理解模糊。然而，NeRP3D 学习连续的三维表示，避免了这些不对齐的先验知识，并为下游任务保留了预训练的 NeRF 网络。在 nuScenes 数据集上的实验表明，与最先进的方法相比，在场景重建和检测任务上都有显著改进。
-
新数据集赋能胃镜新视角合成
研究人员推出了 GastroNVS 数据集，这是首个专为胃镜新视角合成 (NVS) 设计的真实世界数据集。该数据集旨在解决当前该医学领域缺乏足够数据来评估 NVS 技术的问题。它包含胃镜图像、相机姿态和点云，并已用于评估现有的 3D Gaussian splatting 方法，突显了未来发展的挑战。
-
Render-FM 实现实时照片级 CT 扫描渲染
研究人员开发了 Render-FM，这是一种新颖的前馈模型，专为 CT 扫描的实时照片级体积渲染而设计。该模型通过直接预测渲染参数，将渲染过程的速度从数小时或数分钟显著提高，缩短至短短 2.8 秒。Render-FM 采用了解剖引导式预处理技术，以提高医学成像的准确性，并展示了对未见解剖结构和传递函数的泛化能力，从而无需额外的准备时间即可实现组合器官可视化。
-
VisDom 通过可见域约束改进稀疏新视图合成 · 已追踪 2 个来源
研究人员推出了一种新颖的几何约束方法 VisDom，用于稀疏新视图合成，可从有限的输入图像中提高 3D 重建质量。这种无需学习的方法通过强制执行最低多视图可见性要求，有效过滤模糊几何，从而增强了现有的 NeRF 和 Gaussian Splatting 管道。VisDom 在各种数据集上均表现出持续的改进，能够仅用四张图像即可实现高质量的对象重建，并降低了训练成本。
-
EDoF-NeRF 增强了光线逼真神经辐射场的景深
研究人员开发了 EDoF-NeRF，一种增强神经辐射场 (NeRF) 中景深 (DoF) 的新方法，以实现更逼真的新视图渲染。该技术利用放置在相机光圈处的编码孔径来保留空间频率分量，解决了传统相机和 NeRF 数据集中景深与光量之间的固有权衡。提出的 EDoF-NeRF 相机模型允许直接输入编码图像，从而能够生成具有扩展景深的新视图，在模拟和实验中均优于传统光圈相机。
-
上海交通大学在动态、可变形环境中推进SLAM技术
上海交通大学王贺升教授领导的研究团队正在将同步定位与地图构建（SLAM）技术从静态环境推向更广阔的领域。他们的工作重点是使机器人能够导航和理解动态、语义和可变形的空间，这对于自动驾驶和手术机器人等应用至关重要。该团队开发了多模态传感器融合、动态高斯SLAM以及可变形物体建模等技术，旨在赋予机器人长期记忆和推理能力，以实现更智能的导航。
-
DeblurNVS框架从运动模糊图像合成新视角
研究人员开发了DeblurNVS，一个旨在从稀疏、运动模糊的图像中合成高保真新视角的新框架，无需每场景优化。该方法通过恢复中间几何表示来工作，这些表示有助于从模糊输入中恢复结构和对应线索。DeblurNVS在合成运动模糊基准测试中表现出卓越的性能，并在真实世界的模糊场景中显示出有效性，生成更清晰、更稳定的新视角。
-
NeRF 方法提升航天器姿态估计和三维重建能力
研究人员开发了新的基于神经辐射场（NeRF）的方法，以提高从图像中进行航天器姿态估计和三维重建的性能。一种方法利用基于 NeRF 的增强技术，用更少的图像训练姿态估计器，克服了传统基于 CAD 的训练的局限性。另一种方法通过引入每张图像的外观嵌入和姿态校正来增强 NeRF，使其在重建过程中对光照变化和不准确的姿态数据更加鲁棒。
-
扩散模型与 NeRF 结合实现概率性三维场景重建
研究人员开发了一种新颖的三维场景重建方法，将扩散模型与神经辐射场 (NeRF) 相结合。该方法将三维重建视为一个概率问题，使用随机潜在变量来表示场景。模型学习这些潜在变量的先验分布，并使用扩散模型结合从体积渲染派生的重建似然项来进行后验推理。该系统展示了从各种输入（包括单视图、多视图、噪声图像、稀疏像素和稀疏深度数据）进行准确三维结构预测的能力，有效地模拟了每种观测类型的不确定性。
-
PropSplat方法在无3D地图的情况下重建RF场
研究人员开发了PropSplat，一种无需依赖详细3D地图或广泛测量活动即可重建射频（RF）场的新颖方法。该方法利用3D各向异性高斯基元来建模传播环境，直接从稀疏RF测量中学习。PropSplat在室外和室内环境中均表现出卓越的性能，在路径损耗预测方面实现了更低的RMSE，并与NeRF$^2$等现有方法相比显著降低了定位误差。这项创新减少了可扩展RF环境建模中对地理数据的先决需求。
-
MapRF 使用 NeRF 引导的自训练进行弱监督高清地图构建
研究人员开发了 MapRF，一个新颖的框架，仅使用 2D 图像标签为自动驾驶系统构建高清 (HD) 地图。这种弱监督方法利用神经辐射场 (NeRF) 生成伪标签，然后通过自训练迭代地精炼地图网络。一个关键组件，Map-to-Ray Matching，有助于将地图预测与相机射线对齐以减少误差。在 Argoverse 2 和 nuScenes 数据集上的实验表明，MapRF 实现了与完全监督方法相当的性能，使得高清地图构建更具可扩展性和成本效益。
-
几何感知策略改进室内场景新视角合成
研究人员开发了新的方法，用于在神经辐射场（NeRFs）中有效分配表示容量，以生成沉浸式室内环境。通过利用估计场景布局中的几何先验，该系统优化了基的放置，优于均匀排列。该方法还结合了场景自适应虚拟视点，以解决输入轨迹的不足并提高渲染质量和内存效率。
-
SaLF 为自动驾驶提供实时多传感器模拟
研究人员开发了 SaLF，一种用于实时多传感器模拟的新型体积表示。该方法使用一组稀疏的 3D 体素基元，每个基元包含一个局部隐式场，与现有的基于 NeRF 的技术相比，可以实现更快的训练和渲染。SaLF 支持光栅化和光线追踪，能够模拟摄像头和 LiDAR 等各种传感器，提高自动驾驶测试的效率和可扩展性。
-
PanDORA系统捕获高动态范围辐射度，实现逼真的基于图像的照明
研究人员开发了PanDORA系统，该系统可快速捕获逼真的基于图像的照明所需的高动态范围（HDR）辐射度图。与依赖缓慢曝光包围或低动态范围图像的现有方法不同，PanDORA使用两台同步的360°相机以不同曝光度记录视频。一种新颖的两阶段基于NeRF的算法处理这些视频，包括一个自校准管道，以生成准确的HDR辐射度场。
-
HumanSplatHMR 通过联合优化精炼三维人体姿态和化身生成
研究人员推出 HumanSplatHMR，一个从视频中联合优化三维人体姿态估计和化身创建的新框架。该方法通过将姿态精炼与可微分渲染相结合，解决了现有方法的局限性，从而能够为新视角和新姿态生成更准确、更具泛化性的化身。该系统利用姿态估计器的人体网格估计，并通过可微分渲染器反向传播损失以精炼姿态参数，从而提高真实场景中的对齐和渲染质量。
-
GOR-IS框架通过本征空间修复改进3D对象移除
研究人员开发了GOR-IS，一个用于从3D高斯喷溅等方法生成的3D场景重建中移除对象的新框架。该方法通过显式建模光传输以实现全局一致性并处理非朗伯表面，解决了现有技术的局限性。GOR-IS将场景分解为本征分量，并使用本征空间修复模块来提高物理一致性和视觉连贯性。实验表明，与先前的方法相比，感知相似性提高了13%，PSNR增加了2dB。