Gaussian splatting
PulseAugur coverage of Gaussian splatting — every cluster mentioning Gaussian splatting across labs, papers, and developer communities, ranked by signal.
12 天有情绪数据
-
Track2Map系统增强机器人手术中的3D重建
研究人员开发了Track2Map，一种用于机器人手术中3D重建的新型在线系统。该方法利用高斯溅射直接从手术视频中联合优化相机轨迹和场景表示，克服了依赖精确相机轨迹先验的离线管道的局限性。Track2Map设计为即使在先验缺失或嘈杂的情况下也能保持鲁棒性，充当同步定位与地图构建（SLAM）系统。它包含一个基于轨迹锚定的形变初始化，并利用轨迹统计数据区分相机运动和组织形变，从而提高重建质量和相机轨迹精度。
-
GUSH3R框架使用高斯喷溅重建动态人类和场景
研究人员推出了一种新颖的前馈框架GUSH3R，用于从单目视频进行在线动态人类场景重建。该方法使用3D高斯喷溅图元同时重建动态人类和静态场景。GUSH3R旨在克服先前方法产生的非写实输出或难以处理像人类这样的非刚性物体的局限性。实验表明，与基于优化的方法相比，GUSH3R在推理效率显著提高的同时，实现了具有竞争力的新视角合成质量。
-
新的3D模拟器从RGB视频中学习物理
研究人员开发了3DGSim，一个新颖的3D模拟器，能够直接从多视角RGB视频中学习物理交互。该框架将3D场景重建、粒子动力学预测和视频合成整合到一个端到端的系统中。通过利用基于粒子的潜在表示和高斯泼溅进行渲染，3DGSim能够捕捉各种物理行为，包括刚体、弹性体和布料动力学，以及逼真的光照效果。
-
X-Splat 使用高斯溅射法从单张X光片生成3D牙科影像
研究人员开发了X-Splat，一个利用高斯溅射法从单张全景X光片生成3D锥形束CT（CBCT）牙科影像的新框架。该方法通过采用可学习的高斯基元，并受比尔-兰伯特重投影和放射学监督的约束，解决了从2D图像生成3D数据的欠定性问题。X-Splat通过精确重建清晰的解剖边界（包括下颌管等关键结构）优于现有的基于NeRF和GAN的方法，而这些方法之前未能捕捉到这些结构。
-
新方法从 YouTube 视频中的遮挡创建可动画化的 3D 头像
研究人员开发了 AHOY，一种从单目 YouTube 视频创建完整、可动画化的 3D 高斯头像的新方法，即使在主体被严重遮挡的情况下也能实现。该系统通过使用经过身份微调的扩散模型的“幻觉即监督”管道，解决了未观察到的身体区域和缺乏多视图监督等挑战。两阶段架构和映射姿势/LBS 姿势解耦策略进一步提高了重建质量，头部/身体分离监督保留了面部身份。结果表明，生成的头像足够鲁棒，可以进行动画处理并集成到 3D 场景中。
-
新研究探索先进的3D医学图像分割技术
两篇新研究论文探索了3D医学图像分割的先进技术。第一篇Consispace介绍了一个语义感知的重采样框架，旨在通过确保一致的体素间距并利用深度特征进行切片内相关性来提高分割精度。第二篇论文介绍了DivAS，一个交互式3D分割框架，它使用深度加权的体素聚合，并且设计用于处理各种3D场景表示，如Gaussian Splatting和NeRF，而无需进行特定于表示的优化。
-
新框架利用无人机和高斯溅射技术实现逼真的玻璃幕墙数字化
研究人员开发了RefGlass-GS，一个旨在创建具有高度逼真和交互式数字模型的建筑反射玻璃幕墙的新框架。该系统利用无人机（UAV）进行数据采集，并采用优化的高斯溅射技术，结合新颖的反射MLP，精确渲染复杂的反射。该框架还包括精确的玻璃面板分割方法和基于对象的建模标准化数据组织，增强了其在数字孪生平台等应用中的实用性。
-
FalconTrack框架自动生成航空追踪数据
研究人员开发了FalconTrack，一个用于GPS拒绝环境下的视觉航空追踪的新型框架。该系统使用基于高斯溅射的光照逼真模拟器自动生成标注数据，在不到20分钟的时间内生成数千张标注图像。FalconTrack集成了多头感知模块和物理感知追踪，以实现有效的模拟到真实迁移，在真实硬件测试中取得了高精度和高成功率。
-
新AI模型QuADA-GS通过自适应资源分配增强图像超分辨率
研究人员开发了QuADA-GS，一种用于任意尺度图像超分辨率（ASR）的新颖方法，该方法可自适应地分配计算资源。与依赖于对连续分辨率进行次优插值的传统模型不同，QuADA-GS直接从低分辨率输入预测高斯溅射（GS）的致密化。该方法使用神经路由架构来评估局部复杂性并分配上采样预算，确保仅在需要时动态地致密化特征。此外，分层指针卷积促进特征之间的高效空间通信，从而以低延迟和减少的内存占用实现最先进的ASR性能。
-
新的DR-GS框架实现了可变形和可重照明的2D高斯表示
研究人员推出了一种新颖的DR-GS框架，用于创建可变形和可重照明的2D高斯表示。该方法通过解耦几何、光照和材质属性，解决了现有高斯喷溅技术的局限性。DR-GS能够对动态变形和光照变化做出更逼真的响应，并允许对3D资产进行后重建编辑。
-
新框架增强逆问题的鲁棒性和恢复能力 · 追踪 6 个来源
研究人员开发了新的框架来解决逆问题，即从不完整或有噪声的测量中重建数据。其中一种方法在 arXiv 的一篇新论文中详细介绍，它引入了一种分布鲁棒优化 (DRO) 方法，该方法专门构建以匹配数据采集过程，从而提高对分布变化的鲁棒性。另一篇论文探讨了盲逆问题的 Morse-Bott 框架，分析了最大后验 (MAP) 估计的恢复保证，并强调了其局部稳定性，同时承认其局限性。此外，一项研究提出了用于体积逆问题的 3D Junctions 场表…
-
新方法推动全景图像室内三维场景重建加速 · 追踪4个来源
研究人员提出了两种从全景图像进行三维室内场景重建的新方法。Argus 在新的 Realsee3D 数据集上进行训练，利用学习到的共视模块精确锚定度量世界坐标系，并在姿态、深度和点云重建方面取得了最先进的性能。FastPano3D 提供了一个快速、端到端的框架，可在几秒钟内从单个全景图像生成三维高斯表示，在推理速度和参数效率方面优于以前的方法，同时保持可比的渲染质量。
-
Arko-T 新模型可根据文本生成可编辑的 3D 设计
研究人员开发了 Arko-T，一个拥有 40 亿参数的基础模型，能够根据自然语言描述生成可执行的 CAD 程序。该模型专注于创建可编辑的参数化设计，而不仅仅是静态的 3D 形状。据报道，Arko-T 在结构化 CAD 生成的十二项基准测试中的八项上优于其他七个领先的 LLM，并且计算成本显著降低。
-
OrbitForge 通过视频合成和高斯溅射从文本生成 3D 场景
研究人员开发了 OrbitForge，一种利用文本到视频模型和高斯溅射从文本提示生成 3D 场景的新方法。OrbitForge 通过使用 3D 重建作为锚点来提高时间和空间一致性，将文本生成的视频转换为一致的 3D 场景。这种方法避免了特定任务的微调和每个提示的优化，同时还解决了 3D 场景生成中覆盖感知评估的需求。
-
索尼AI相机助手遭批评；讨论AI幻觉问题 · 跟踪7个来源
索尼新款Xperia 1 VIII智能手机的AI相机助手遭到批评，用户指出其性能不佳，公司发布的样张质量可疑。另外，关于AI幻觉的讨论表明，它们可能是一种固有特性而非缺陷，尤其是在高斯溅射等技术背景下，这可能会影响计算机硬件需求。其他新闻包括加州的一项潜在税收提案、Apple TV+和Oura Ring 4的交易，以及8BitDo和Asus的新游戏硬件。
-
综述回顾了3D医学场景补全的十年演变
一篇近期的综述论文详细介绍了过去十年3D医学场景补全的进展，追溯了其从几何建模到复杂生成范式的演变。该论文重点介绍了关键的表示技术，包括体素网格、点学习、隐式神经场和Transformer网络，最终发展到当前将扩散模型与高斯溅射实时渲染相结合的方法。研究人员开发了一个分类法来对这些贡献进行分类，并确定了下一代系统面临的持续挑战和未来的研究方向。
-
CanonicalGS管道通过稳定的场景表示增强新视角合成 · 已追踪2个来源
研究人员开发了CanonicalGS，这是一种新颖的前馈管道，旨在通过从混乱的多视图观测中创建稳定的、以场景为中心的表示来改进新视角合成。该方法聚合来自深度、语义特征和不确定性估计的证据，优先处理可靠数据以抑制噪声和冗余。CanonicalGS展示了显著的改进，包括新视角合成的峰值信噪比提高2.5 dB，语义分割准确率提高11%，使其对下游视觉感知任务更有效。
-
VisDom 通过可见域约束改进稀疏新视图合成 · 已追踪 2 个来源
研究人员推出了一种新颖的几何约束方法 VisDom，用于稀疏新视图合成，可从有限的输入图像中提高 3D 重建质量。这种无需学习的方法通过强制执行最低多视图可见性要求，有效过滤模糊几何，从而增强了现有的 NeRF 和 Gaussian Splatting 管道。VisDom 在各种数据集上均表现出持续的改进，能够仅用四张图像即可实现高质量的对象重建，并降低了训练成本。
-
新的PC-TGS框架利用LiDAR和无线电数据增强无线信道预测
研究人员开发了一个名为点云辅助切线高斯泼溅（PC-TGS）的新框架，以改进无线网络中的信道预测。该方法整合了稀疏的无线电测量数据和基于LiDAR的密集几何信息，以推断未测量位置的信道信息。PC-TGS将环境散射体表示为各向异性的3D高斯分布，并使用切平面投影进行角度域映射，与现有方法相比，在预测性能和推理速度方面均有所提升。
-
新的高斯管理框架提升三维物体重建保真度
研究人员引入了一种新颖的高斯属性管理框架，用于三维物体重建，旨在提高外观和几何形状的保真度。该方法在arXiv论文中有所详述，通过选择性地激活和修剪高斯属性来防止梯度冲突并减少冗余。该系统还包含一个模块，用于从SDF分支中提取鲁棒的法线场，以增强几何监督。所提出的方法与各种重建架构兼容，并且在使用的参数更少的情况下，展示了优于或媲美现有方法的结果。