Gen4P

Gen4P框架将视频生成器重新用于4D感知

研究人员推出Gen4P，一个新颖的框架，它将预训练的视频生成器重新用作前馈4D感知器，用于从单目视频中恢复3D几何和运动。通过利用按需查询和轻量级交叉注意力解码器，Gen4P在单次传递中处理视频潜在表示，以预测4D属性。该框架还通过预训练的视频深度LoRA整合了冻结的几何先验，在没有额外可训练参数的情况下增强了几何知识。Gen4P在3D点跟踪、视频深度和相机姿态估计方面展示了最先进的性能，显示了其在统一4D感知方面的潜力。