RealEstate10K
PulseAugur coverage of RealEstate10K — every cluster mentioning RealEstate10K across labs, papers, and developer communities, ranked by signal.
11 天有情绪数据
-
基于FPGA的LENS系统为边缘机器人带来GPU级场景内存
研究人员开发了LENS系统，旨在使资源受限的机器人能够在不依赖高功耗台式GPU的情况下执行场景内存任务。该系统利用FPGA和ARM平台加速场景坐标回归（SCR）和3D高斯泼溅（3DGS）渲染，实现了具有竞争力的定位精度和新视角合成质量。与NVIDIA Jetson Orin NX相比，LENS在每瓦性能和低延迟方面表现更优，尽管设备端训练仍落后于GPU能力。
-
Kyutai 发布 CADRE 视频自编码器，用于更快的交互式世界模型
Kyutai 推出了 CADRE，一套旨在降低交互式世界模型延迟的新型视频自编码器。这些自编码器通过更有效地处理视频帧来改进现有模型，在单个 NVIDIA H100 GPU 上实现了低于 230 毫秒的响应时间。CADRE 在图像和运动质量基准测试中表现强劲，在 Fréchet Video Distance (FVD) 和 Action Following Rate (ARR) 等指标上优于其他几个模型，尽管在机器人操作等特定场景中存在局限性。
-
新框架CausalAlign增强视频生成模型自我运动一致性
研究人员开发了CausalAlign，一个旨在提高扩散式视频生成模型（VGMs）中相机自我运动一致性的新框架。该框架利用因果干预来识别VGMs在去噪过程中如何表示和保留自我运动信息。CausalAlign通过将VGM层与3D基础模型通过delta-token空间对齐来加强这种表示，该空间专注于帧间动力学。这种方法在运动精度、几何一致性和时间平滑度方面显示出显著的改进，同时也提高了具身模型在操作任务上的成功率。
-
HRoPE 为多视角 Transformer 引入表面感知的位置编码
研究人员推出了一种新颖的方法 HRoPE（Homography Relative Positional Encoding），用于提高多视角 Transformer 的空间理解能力。与以往关注相机几何的方法不同，HRoPE 通过将图像块表示为倾斜的 3D 平面并使用单应性来对齐不同视角的特征，从而强调表面几何。该技术不需要真实世界的几何信息，并在 RealEstate10K、CO3Dv2 和 DL3DV 等数据集的全新视角合成任务中表现…
-
LonGaussian框架支持从长视频进行3D场景重建
研究人员推出LonGaussian，一个新颖的前馈框架，用于从长视频序列重建高质量3D场景。该方法通过分块处理视频并使用多帧点跟踪来整合高斯预测，解决了内存和存储限制。LonGaussian在DL3DV和RealEstate10K等基准测试中实现了更高的渲染质量和更少的高斯数量，使其适用于机器人感知和具身智能等应用。
-
新的CoTL框架从多视图图像中学习紧凑型3D场景Token
研究人员推出了一种新颖的CoTL框架，旨在从多视图图像中学习3D场景的紧凑型Token表示。该方法将输入图像压缩成一小组潜在Token，这些Token聚合了不同视图的信息，形成一个随着可用观测值而增长的场景表示。然后，基于查询的高斯解码器利用这些Token重建显式的3D高斯基元，从而实现具有竞争力的新视角合成，并作为生成式3D场景模型的潜在空间。
-
GeoBridge框架为几何视觉演进可迁移的解码器拓扑
研究人员推出了GeoBridge，一个旨在为几何视觉任务发现可迁移解码器拓扑的演进框架。该系统优化了解码器内部的计算，使其能够跨不同应用（如深度估计和高斯重建）重复使用。GeoBridgeNet-A3在NYU Depth V2和KITTI数据集的深度精度方面表现出色，并在RealEstate10K的高斯新视角合成方面取得了优异的成绩，表明了在几何视觉中可重用解码器设计的潜力。
-
CompactSplat 通过自适应高斯分配改进三维场景重建
研究人员推出 CompactSplat，一个旨在从稀疏视图改进三维场景重建的新前馈框架。该方法自适应地分配三维高斯，将它们集中在复杂区域，同时用更大的、尺度调制的图元高效地平铺平坦区域。与现有技术相比，这种方法以显著更少的图元实现了更精确的几何和更精细的纹理，如在 RealEstate10K 和 ScanNet 等数据集上所展示的。
-
Zebra3D 框架通过混合注意力提升 3D 重建效率
研究人员推出 Zebra3D，一个旨在提高 3D 重建模型效率的新框架。这种混合注意力方法选择性地将线性注意力应用于不太敏感的层，并将稀疏注意力应用于更关键的层，通过地标摘要保留上下文。Zebra3D 能够对现有模型进行无需训练的转换，并在 RealEstate10K 等基准测试中保持高精度的情况下，实现高达 7.1 倍的速度提升（在 1024 个视图下）。
-
新模型应对新视图合成与相机姿态估计挑战
两篇新的研究论文介绍了从现有图像合成新视图和估计相机姿态的新颖方法。第一篇论文LVS，侧重于重用先前渲染的图像以改进交互式场景探索并减少渲染计算，特别适用于增强现实和虚拟现实应用。第二篇论文LVSPM，提出了一个可泛化的模型，该模型可以从未校准的图像集中联合估计相机姿态并合成新视图，在各种数据集上的姿态估计和新视图合成方面优于现有模型。
-
CompactSplat框架通过自适应高斯分配改进3D场景重建
研究人员推出CompactSplat，一个用于从稀疏视图重建3D场景的新型前馈框架。该方法使用纹理引导的空间划分和分层采样来自适应地分配3D高斯，从而通过将细节集中在复杂区域并简化平坦区域来实现更有效的表示。CompactSplat还支持动态稀疏度控制，无需重新训练模型即可调整渲染保真度和内存使用。
-
新框架提升3D新视角合成效率与质量 · 跟踪3个来源
研究人员开发了三个新的新视角合成框架，旨在提高3D内容创作的效率和质量。NAMVIS将该过程重新表述为自回归下一尺度预测，在Objaverse等基准测试中，其速度和质量均优于扩散模型。RDGSplat从冻结的3D基础模型中解码独立的渲染几何体，在不改变模型原始度量预测的情况下增强新视角合成。AIMS通过使用锚点视图整合大量观测信息，提供了一个可扩展的解决方案，并保持固定的全局视图预算以实现高效渲染。
-
PoseAgent 框架动态编排相机位姿估计方法
研究人员开发了 PoseAgent，一个旨在提高相对相机位姿估计的准确性和鲁棒性的新框架。该系统通过采用学习到的排序和验证代理，动态地选择和编排各种位姿估计方法。该框架分析图像对以预测不同估计器的适用性，执行最有希望的估计器，并验证其输出。PoseAgent 在多个基准测试中表现出改进的性能，在某些场景下优于独立的估计器，甚至优于基于视觉语言模型的代理。
-
Honeycomb 视频模型使用固定大小的 HexMemory 实现一致的场景表示
研究人员推出了一种新颖的视频世界模型 Honeycomb，它利用一种名为 HexMemory 的固定大小场景记忆。这种 HexMemory 表示在六个空间和时空平面上采用低秩分解，能够实现一致的记忆存储，无论视频在空间覆盖或时间范围上如何扩展。在 WorldScore 和 RealEstate10K 数据集上的实验表明，Honeycomb 在保持恒定特征存储的同时，实现了强大的视频生成质量和鲁棒的重访一致性。
-
新的SPAR3S模型可从稀疏多视图图像生成3D场景
研究人员开发了SPAR3S，一种新颖的稀疏自回归模型，用于从有限的多视图图像生成完整的3D场景。该方法在紧凑的、与体素对齐的3D潜在空间中运行，仅表示已占用的体素以提高计算效率。该模型通过可微分的3D高斯溅射（differentiable 3D Gaussian Splatting）通过光度监督来学习这个稀疏潜在空间，并采用掩码自回归Transformer来预测缺失的潜在标记及其空间分布，从而能够生成具有更高新视图质量的未见区域。
-
新方法增强新视角合成的稳定性和质量 · 已追踪 2 个来源
研究人员开发了新方法来提高新视角合成的稳定性和质量，这是一种从有限的输入图像集中生成场景新视角的技朧。一种名为 CamTrol++ 的方法通过将相机运动分解为小的自回归步骤来稳定过程，以防止误差累积，这对于更长的生成范围尤其有效。另一种名为 RoGe 的方法提出了一个端到端的框架，该框架联合训练隐式场景重建和视频生成模型，允许生成过程直接塑造其几何条件，而无需显式的 3D 中间体。两种方法都在基准数据集上展示了时间一致性和几何准确性的显著改进。
-
ReconSplat模型增强了超越观测视角的3D场景重建能力
研究人员开发了ReconSplat，这是一种新颖的前馈模型，用于3D场景重建，旨在提高未观测区域的合理视图生成能力，同时保持几何一致性。该模型集成了3D高斯泼溅（3DGS）和多视图潜在扩散模型（MV-LDM）来优化外观和场景几何。ReconSplat在RealEstate10K和DL3DV-10K等基准测试中表现出色，尤其是在具有挑战性的外推场景中，能够生成连贯的新视图和准确的深度图。
-
GenRec模型分离重建和生成，用于新视角合成
研究人员推出了一种新颖的多视角流匹配模型GenRec，旨在改进生成式新视角合成。该模型明确地将重建与生成分开，解决了现有方法将单一损失用于两个过程的局限性。GenRec利用观测掩码和单目深度估计器来指导其架构，确保观测到的像素以高保真度进行重建，同时用合理的生成内容填充未观测区域。在RealEstate10K和DL3DV-10K等数据集上进行测试，GenRec在重建准确性和感知质量方面均优于先前的方法。
-
SplatGuide 使用 3D 高斯实现无姿态新视角合成 · arXiv
研究人员推出 SplatGuide，一种从无姿态图像生成照片级新视角的新方法。该方法利用 3D 高斯的几何先验，重用单个 3D 高斯泼溅 (3DGS) 场景以扮演多种角色。渲染图像提供几何条件，每个高斯源视图索引实现遮挡感知的参考选择，重建令牌提供特征级引导。SplatGuide 在多个基准测试中取得了最先进的成果，包括 RealEstate10K、DL3DV、Tanks-and-Temples 和 Mip-NeRF 360，甚至在 …
-
SubSplat 方法提升高分辨率 3D 渲染效率
研究人员开发了 SubSplat，一种用于高分辨率像素对齐高斯泼溅的新颖方法，解决了计算成本的权衡问题。SubSplat 引入了子像素高斯重参数化器 (SPGR) 来细分主高斯，从而能够从低分辨率特征中恢复结构密度。该方法通过跨多个视图聚合特征来有效捕获高频细节，从而提高渲染质量，并在 RealEstate10K 和 ACID 等数据集上实现了卓越的效率和保真度。