研究人员开发了 MINT(Minting IN-the-Wild Trajectories),一个新颖的基础模型,能够直接从自我中心的 RGB 视频中估计世界坐标系下的相机和手部运动。与之前分别处理这些任务的系统不同,MINT 从共享的视频表示中联合预测相机轨迹、手部状态和手部存在。为了克服世界空间标注的稀缺性,创建了一个名为 EGOPIPELINE 的开源标注管道,用于生成大规模的伪标签进行训练。MINT 在准确性和速度方面均显著优于现有方法,并已发布其代码、训练数据和标注管道。 AI
影响 通过联合建模相机和手部运动,能够更准确、更高效地理解机器人和 AR 中的活动。
排序理由 这是一篇研究论文,详细介绍了一个用于计算机视觉任务的新模型和相关的开源工具。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- Connected Papers
- CORE Recommender
- DagsHub
- EGOPIPELINE
- Gotit.pub
- Hugging Face
- Influence Flower
- Litmaps
- ScienceCast
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →