Neural Radiance Fields
PulseAugur coverage of Neural Radiance Fields — every cluster mentioning Neural Radiance Fields across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
RouteBridge框架增强NeRF和3D高斯泼溅的蒸馏
研究人员开发了RouteBridge，一个新颖的双向框架，旨在改进神经辐射场（NeRF）和3D高斯泼溅（3DGS）之间的蒸馏过程。该系统自适应地为每条光线选择教学方向，结合光度残差和几何证据，将监督从NeRF路由到3DGS，或反之亦然，或在必要时弃权。该框架取得了显著的改进，在mip-NeRF 360数据集上，NeRF和3DGS的导出分别达到28.56和28.77 dB，优于现有方法。
-
新的TR-NeRF方法显著提高了3D人体重建效率
研究人员开发了时间残差神经辐射场（TR-NeRF），以提高从单目视频进行3D人体重建的效率和质量。这种新方法通过引入一个独立于MLP架构的时间残差场，解决了传统MLP的局限性，减少了可训练参数并加速了渲染。TR-NeRF在时间效率方面取得了显著改进，与现有方法相比实现了近780倍的提升，同时保持了相当的准确性。
-
AccidentSim 从事故报告生成逼真的车辆碰撞视频
研究人员开发了 AccidentSim，这是一个旨在为自动驾驶研究生成逼真车辆碰撞视频的新框架。该系统从真实事故报告中提取物理线索和上下文信息，以创建准确的碰撞后车辆轨迹。AccidentSim 利用物理模拟器构建数据集，微调语言模型进行轨迹预测，并采用神经辐射场 (NeRF) 进行高质量视频渲染，从而生成在视觉和物理上都真实的视频。
-
量子经典模型 3D-QISR 推进新视角合成
研究人员推出了一种新颖的混合量子经典模型 3D Quantum Implicit Scene Representation (3D-QISR)，用于新视角合成。该方法将参数化量子电路集成到神经辐射场 (NeRF) 框架中，通过量子态变换编码空间和视点相关信息，从而实现更紧凑的表示。在模拟量子硬件上的实验表明，3D-QISR 在性能上可以媲美甚至超越经典的 NeRF 基线，同时使用的可训练参数显著减少，这为量子增强的隐式神经渲染指明了一…
-
小型UAV实现高保真三维物体重建
研究人员开发了一个新颖的系统，使小型、亚100克无人机（UAV）能够自主地对静态物体进行高保真三维重建。该系统采用闭环主动视点选择框架，集成了实时运动恢复结构（SfM）以立即生成点云，并动态调整轨迹。这使得UAV能够智能地捕捉覆盖不佳区域的新图像，确保为最终基于神经辐射场（NeRF）的高保真重建进行全面的数据采集。
-
新的AI方法通过多视图一致性和LLM集成增强3D场景编辑 · 跟踪6个来源
研究人员正在开发新的方法，以提高AI在3D场景编辑中的一致性和准确性。一种名为“Correspondence Guidance的3D一致性多视图编辑”的方法，专注于确保编辑后不同视图中的对应点保持一致，从而改进NeRF和高斯溅射模型等表示的结果。另一种名为“Chat-Edit-3D++”的方法，通过将2D编辑与3D重建分离，利用大型语言模型实现3D和4D场景的交互式、对话驱动编辑。此外，“DEER-3D”使用一个错误驱动的框架，通过有…
-
新的PIVOT数据集在真实世界条件下评估三维重建
研究人员推出了PIVOT，这是一个新的数据集和评估框架，旨在评估三维重建方法（如神经辐射场（NeRFs）和3D高斯泼溅（3DGS））在更真实、更具挑战性的条件下的性能。与使用理想化轨迹和相机参数的先前基准不同，PIVOT包含了多样化的相机路径、测量姿态与优化姿态、以及校准内参与优化内参。使用DJI Mini 4 Pro无人机进行的初步结果表明，在评估未见过的轨迹时，性能明显下降，并突显了姿态来源和相机内参对重建质量的重大影响。
-
新型滤波器解决了动态场景中4D高斯表示的混叠问题
研究人员开发了一种新的运动感知滤波技术，以减少4D高斯表示中的混叠伪影。4D高斯表示用于在AR/VR应用中合成动态场景的新颖视图。现有方法，如将3D高斯泼溅和神经辐射场应用于动态场景，仍然存在混叠问题，尤其是在缩放操作期间。所提出的滤波器根据局部运动信息调整其强度，在不降低渲染质量的情况下有效减轻混叠。该方法估计时间和焦距与深度比的联合密度函数，并可与各种4D表示集成，在标准数据集上表现出卓越的性能。
-
FixAnything模型利用视频生成先验精炼3D渲染伪影
研究人员开发了FixAnything，一个旨在精炼3D渲染并修复高斯喷溅和NeRF等各种表示中的伪影的新模型。该模型重新利用了预训练的视频生成模型，将渲染清理视为一个视频到视频的转换任务。通过使用二值掩码来识别干净像素，并采用直接偏好优化（Direct Preference Optimization）以及相机姿态准确性作为奖励信号，FixAnything只需极少的微调即可实现3D一致的结果，提供了一个可以替代多个专业精炼管线的通用解决方案。
-
新的基于NeRF的SLAM系统解决了大规模场景重建问题
研究人员开发了一种新的基于神经辐射场（NeRF）的同时定位与地图构建（SLAM）方法，专为大规模环境设计。该系统采用多子图架构和双层回环闭合机制，以克服灾难性遗忘和轨迹漂移等挑战。该方法结合了渐进式建图、基于光流的跟踪以及用于增强全局描述符提取的基础模型，以确保广阔场景的准确性和一致性。
-
新的ERF-GS框架通过事件-RGB融合重建快速运动
研究人员开发了ERF-GS，一种用于重建3D场景中快速移动物体的新型框架。该方法将高帧率传感器中的事件数据集成到高斯泼溅管道中，提高了在运动模糊或不连续视点场景下的准确性。与4DGS和E-D3DGS等现有基线相比，ERF-GS在基准数据集上表现出更优越的性能，为动态场景重建提供了更鲁棒的解决方案。
-
新的卷积神经着色方法增强三维重建
研究人员推出了一种名为卷积神经着色（CNS）的新方法，用于从多张图像生成高质量的三维重建。与依赖有限几何信息的先前神经渲染技术不同，CNS 利用神经着色器捕捉复杂的细节，即使在具有挑战性的光照条件和纹理区域也能实现。该系统还包含一个精细细节位移网络，用于平滑图像边界的不规则性，从而获得更准确、视觉效果更好的三维模型。
-
调查论文详细介绍了神经辐射场的进展和挑战
一篇新发表在arXiv上的调查论文详细介绍了神经辐射场（NeRFs）的进展和挑战。该论文由Wenhui Xiao撰写，全面回顾了NeRFs的理论创新、替代场景表示和新兴应用。它强调了NeRFs对计算机视觉和机器人技术的影响，同时也指出了当前研究的不足之处并提出了未来方向。
-
新的ICEF框架增强了少样本面部表情合成能力
研究人员开发了Identity-Consistent Expression Fields (ICEF)，一个用于从有限图像集合成面部表情的新框架。该方法将身份特定特征与表情驱动的变形分离开来，以防止身份漂移。ICEF还使用置信度加权变形步骤来减少外推到新颖表情时的伪影，从而提高渲染质量和身份一致性。
-
BathyFacto：新型NeRF模型可精确绘制水下地形
研究人员开发了BathyFacto，这是神经辐射场（NeRF）的一个新颖扩展，旨在精确绘制水下地形。这种新方法解决了空气-水界面的折射挑战，而折射通常会导致传统摄影测量技术出现显著的深度误差。通过对双介质环境进行建模并校正光线弯曲，BathyFacto实现了高精度且度量一致的水下点云。
-
RehearsalNeRF 方法将动态光照解耦到神经辐射场中
研究人员开发了 RehearsalNeRF，一种用于将神经辐射场 (NeRF) 中的动态光照效果与场景辐射度解耦的新颖方法。该技术利用在稳定光照条件下捕获的场景来强制执行几何一致性，从而即使在光照发生显著变化的情况下也能实现更鲁棒的新视角合成和场景编辑。该方法包含一个可学习的向量来处理时间光照效果，并使用光流正则化来辅助颜色解耦，特别是针对动态对象。
-
新框架通过自适应时间步长训练增强脉冲式 NeRF
研究人员开发了一个名为 PATA（基于预训练的自适应时间步长调整）的新框架，以提高脉冲式神经辐射场 (NeRF) 的效率。该方法允许进行特定于场景的自适应时间步长训练，而之前的模型使用固定的时间预算。PATA 将推理时间步长优化为可训练变量，在保持各种神经渲染表示具有竞争力的渲染质量的同时，将计算成本降低了高达 68.90%。
-
新的3D高斯喷涂方法增强场景编辑、重建和动画
近期研究探索了用于场景编辑、重建和动画的3D高斯喷涂（3DGS）的进展。LB-Edit引入了注意力引导的相机放置和多视图对齐，以实现更精确的3D场景编辑。ATSplat通过使用自适应3D标记来增强前馈3DGS，以改进场景复杂性表示并减少高斯数量。ZeroSplat将3DGS中的引用分割泛化到处理多个目标，并通过将2D视觉语言模型先验提升到3D空间来提高效率。FF-ProCams为投影仪-相机系统提供了一个前馈框架，实现了快速逆渲染。E…
-
新的SkyLume数据集解决了不同光照下的3D城市重建问题
研究人员推出了SkyLume，这是一个大规模航空数据集，旨在解决不同光照条件下3D城市场景重建的挑战。该数据集包含在10个城市区域在一天中的三个不同时间拍摄的超过10万张高分辨率无人机图像，以隔离光照变化。它还包括每场景的LiDAR扫描和用于精确评估几何形状和外观的地面真实数据。此外，还提出了一种名为时间一致性系数（TCC）的新指标，用于测量反照率的稳定性并评估光照和材质的分离。
-
Render-FM 实现实时照片级 CT 扫描渲染
研究人员开发了 Render-FM，这是一种新颖的前馈模型，专为 CT 扫描的实时照片级体积渲染而设计。该模型通过直接预测渲染参数，将渲染过程的速度从数小时或数分钟显著提高，缩短至短短 2.8 秒。Render-FM 采用了解剖引导式预处理技术，以提高医学成像的准确性，并展示了对未见解剖结构和传递函数的泛化能力，从而无需额外的准备时间即可实现组合器官可视化。