PulseAugur
中
实时 07:06:33
实体 Mano

Mano

PulseAugur coverage of Mano — every cluster mentioning Mano across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
6
90 天内 12
发布 · 30天
0
90 天内 0
论文 · 30天
6
90 天内 10
层级分布 · 90 天
主题
情绪 · 30 天

4 天有情绪数据

最近 · 第 1/1 页 · 共 12 条
  1. TOOL · CL_360471 ·

    新的VACO方法在从单张图像进行密集手部接触估计方面取得进展

    研究人员开发了VACO,一种用于从单张图像估计密集手部接触的新型顶点对齐解码器。与预测全局接触图的先前方法不同,VACO在每个单独顶点的投影位置采样局部图像特征,从而更准确地进行定位。该方法与噪声扰动的投影进行端到端训练,显著提高了鲁棒性和接触敏感性。单个VACO检查点在五个基准测试中确立了新的最先进水平,其性能大幅优于先前的方法,并展示了对未见数据集的泛化能力。

  2. TOOL · CL_344520 ·

    InstantHand 从单张图像重建可动画的3D手部头像

    研究人员开发了InstantHand,一个能够从单张图像重建可动画3D手部头像的新颖框架。该方法利用现成的MANO、相机和蒙版估计,绕过了多视角捕获或每主体优化的需求。为了解决诸如Alpha泄露和颜色漂移等问题,InstantHand引入了软Alpha带正则化器和可靠性门控外观迁移技术。该系统可以在三秒内生成一个头像,并以高帧率进行渲染,在基准数据集上取得了有竞争力的结果。

  3. TOOL · CL_344492 ·

    新的FAH模型提供更快、更准确的3D手部估计

    研究人员开发了FAH,这是一个新的手部估计模型家族,通过直接预测2D和3D关节及表面点来提高准确性和速度。这些模型是从SAM 3D Body的手部分支微调而来,可以适配MANO或MHR-Hand模型,并可选择性地估计解剖部位和接触点。实验表明,与现有方法相比,在对齐、几何、接触估计和世界空间跟踪方面有了显著改进。默认的ViT-L模型在RTX 4070 Ti SUPER上可达到65 fps,而较小的ViT-S模型可达到125 fps。

  4. TOOL · CL_336455 ·

    新框架从第一人称视角视频中重建4D手部-场景交互

    研究人员开发了EgoHSI3R,一个用于从第一人称视角视频中重建4D手部-场景交互的新型框架。该系统在共享的3D世界空间中统一了相机运动、场景几何和手部姿态的估计。通过将手部先验知识与局部场景上下文相结合,并使用MANO顶点查询,EgoHSI3R可以预测密集的每顶点接触,在ARCTIC数据集上手部关节误差方面取得了最先进的结果,同时保持了具有竞争力的场景重建精度。

  5. TOOL · CL_307951 ·

    新型自监督模型整合手部几何信息以识别手语

    研究人员开发了SignDEG,一种新颖的自监督手语表示模型,它整合了关节手部几何信息。与以往仅依赖视觉外观的模型不同,SignDEG在预训练期间利用几何信息来增强对手语形状和方向的理解。这种方法使得模型在无需推理时进行手部重建模型的情况下,在How2Sign和OpenASL等手语识别基准测试中取得了最先进的成果。

  6. RESEARCH · CL_269436 ·

    新的AI模型增强了单目视频生成和手部运动跟踪 · 跟踪3个来源

    研究人员开发了新的方法来生成单目视频,这些视频能够准确捕捉手部与物体交互(HOI)以及世界空间中的手部运动。Exo2EgoHOI 通过使用4D先验和注意力机制将外视角视频转换为单视角视图,专注于保留HOI。InfiniHand 提供了一个端到端的流式框架,用于从非校准的单目视频中实时估计手部运动,整合了手部几何和相机运动。EgoFound3R 提供了一个统一的模型,用于在单次通过中估计世界空间手部几何和交互属性,显著提高了吞吐量和准确性。

  7. TOOL · CL_187562 ·

    机器人学习人类动作:连接视频数据与机器人控制的四种方法 · 跟踪 1 个来源

    清华大学、香港科技大学和微软亚洲研究院的联合论文提出了一种统一的框架,使机器人能够从人类视频中学习人类动作。该研究确定了四种主要方法:潜在动作、显式二维轨迹、显式三维轨迹和世界模型,所有这些都旨在构建人类动作与机器人控制信号之间的“表示桥梁”。虽然世界模型被视为泛化的有希望的方向,但目前的实际演示通常依赖于结合了强化学习的视觉-语言-动作(VLA)模型,这凸显了在为具身人工智能寻找最佳“配方”方面仍然存在挑战。

  8. TOOL · CL_183159 ·

    新的DigitCode系统为肢体动作提供符号化表示

    研究人员开发了DigitCode,一种新的肢体动作符号化表示方法,将连续数据分解为离散的解剖单元。该方法比以前的方法提高了四分之三的准确性,并允许对肢体姿势进行符号化操作,例如编辑或修复生成的肢体。该系统还便于将肢体动作重新定向到机器人应用中,并包含一个名为HandTok的测试平台,用于比较不同的肢体分词器。

  9. RESEARCH · CL_141282 ·

    HandFlow 使用流匹配实现生成式4D手部重建

    研究人员开发了HandFlow,一种利用流匹配从单目视频进行改进的4D手部重建的新型生成框架。该方法通过整合时间上下文和通过生成模型处理模糊的视觉数据,解决了现有方法的局限性。在基准数据集上的实验表明,HandFlow达到了最先进的性能,在准确性和时间平滑度方面取得了显著的进步,同时实现了高重建速度。

  10. RESEARCH · CL_141097 ·

    新的具身人工智能系统利用自拍视频实现记忆和主动辅助

    研究人员推出了新的具身人工智能系统和数据集,专注于从自拍视频中获取记忆和主动辅助。MEMORA 旨在为机器人配备具身动作记忆,通过四个记忆存储的形成、巩固和检索生命周期来改进规划和目标理解。另外,Vinci2 通过推理时间上下文来确定智能代理何时应进行干预,从而提供主动辅助,并引入了 EgoServe 基准和 EgoMemo 代理。此外,Open-AoE 为从自拍操作视频中进行具身学习提供了大规模数据集和工具链,促进了人机转移和世界建模。

  11. RESEARCH · CL_94931 ·

    新型HUG模型利用人类生成数据实现零样本机器人抓取

    研究人员开发了HUG,一种流匹配模型,能够从单个RGB-D图像生成多样化的人类抓取。该模型利用通过智能眼镜收集的100万次人类抓取数据集,涵盖了6000多个物体实例。HUG预测由腕部平移、旋转和MANO手部姿势参数化的抓取,这些抓取可以重新定向到各种机器人手上以实现零样本抓取。在新的基准HUG-Bench上进行评估,该系统在现有最先进的抓取基线方面表现出显著的性能提升。

  12. TOOL · CL_45022 ·

    新的AVI-HT方法通过视觉-IMU融合改进3D手部追踪

    研究人员开发了AVI-HT,一种新颖的3D手部追踪方法,可自适应地融合来自手套式IMU传感器和以自我为中心的摄像头的数据。该方法显著提高了精度和可用性,尤其是在视觉遮挡严重的情况下,如手与物体交互。该系统利用同步的多模态训练数据和跨传感器深度注意力机制来动态调整对视觉和IMU输入的依赖程度。