HOT3D
PulseAugur coverage of HOT3D — every cluster mentioning HOT3D across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
COSMI 数据集和模型合成复杂的多个对象交互
研究人员开发了 COSMI，一种用于在生成模型中合成多个对象交互的新颖方法。该方法通过将单对象交互片段组合成更复杂的场景，解决了现有数据集的局限性，显著扩展了可用数据。COSMI 数据集包含 222,000 个序列和 275 小时的数据，最多包含五个对象，比以前的多对象数据集大近三十倍。在该数据上训练的文本到交互扩散 Transformer 模型在看不见的对象和交互组合上表现出强大的泛化能力，在文本对齐和接触准确性方面优于基线方法。
-
GRC-Pose框架推动无先验6D物体姿态跟踪
研究人员推出GRC-Pose，一个用于无先验6D物体姿态跟踪的新框架。该方法解决了从单个RGB视频中恢复未知物体轨迹的挑战，而无需物体特定的CAD模型或姿态标注。GRC-Pose将跟踪构建为生成-重建对应问题，结合了学习到的对应预测和鲁棒的姿态估计。该框架使用GeoCorr-Matcher进行加权的物体-场景对应和不确定性估计，并通过FGH-Solver进行序列级后验推理集成。评估结果表明，在HOT3D数据集上达到了最先进的性能，在运…
-
DreamHand框架重新利用视频扩散模型进行3D手部运动恢复
研究人员开发了DreamHand，一个新框架，它重新利用视频扩散模型来改进从自我中心视频中恢复3D手部运动。该方法通过使用确定性几何编码器来解决物体遮挡和手部离开画面等挑战。DreamHand在多个基准测试中取得了最先进的成果，显著降低了度量手部轨迹恢复的误差，尤其是在考虑手部不可见的情况下。
-
ReViV框架使用统一的观察者和视角动态重建4D自主视频
研究人员推出ReViV，一个用于从单目自主视频进行全面4D重建的新颖框架。该系统统一了观察者和视角动态的建模，解决了先前方法常需要辅助输入或将感知与运动分开处理的局限性。ReViV在单一前馈架构中利用掩码生成自主Transformer，以实现快速推理速度，并重建身体、手部和注视运动的具有时间一致性的4D表示，以及相机跟踪和深度估计。
-
HandFlow 使用流匹配实现生成式4D手部重建
研究人员开发了HandFlow，一种利用流匹配从单目视频进行改进的4D手部重建的新型生成框架。该方法通过整合时间上下文和通过生成模型处理模糊的视觉数据，解决了现有方法的局限性。在基准数据集上的实验表明，HandFlow达到了最先进的性能，在准确性和时间平滑度方面取得了显著的进步，同时实现了高重建速度。
-
新框架通过手部交互视频重建三维物体
两篇新的研究论文介绍了一种从以自我为中心的视频中重建三维物体的新颖框架，重点关注手部交互。第一个框架ROHIT使用约束优化和传播（COP）框架来模拟稳定抓握期间的物体姿态。第二个框架AGILE采用由视觉语言模型指导的代理生成方法来创建水密网格，绕过了传统的运动恢复结构方法。
-
StableHand框架增强了从视频进行双手法运动估计的能力
研究人员开发了StableHand，一个用于从第一人称视角视频估计世界空间双手法运动的新型框架。该方法通过将每帧的可靠性信号纳入流匹配过程，解决了手离开相机视野和遮挡等挑战。StableHand利用一个学习到的质量网络来预测观测质量，并据此调整其生成过程，从而在HOT3D和ARCTIC等基准测试中取得了显著的性能提升。