Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environments
PulseAugur coverage of Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environments — every cluster mentioning Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environments across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的高斯混合潜在流模型增强了三维人体运动预测能力
研究人员开发了一种名为高斯混合潜在流（GMLF）的新模型，以改进三维人体运动的预测。该模型通过增强预测运动的合理性和不确定性量化，解决了当前方法的局限性。GMLF 利用数据驱动的高斯混合先验来更好地捕捉多样化的人类行为，其可逆性允许进行可处理的似然计算，从而获得更可靠的不确定性估计。在 Human3.6M 和 AMASS 数据集上的实验表明，GMLF 在准确性和合理性方面取得了最先进的成果。
-
AI 从家庭视频中估算帕金森病转体角度
研究人员开发了一种深度学习方法，使用单个单目摄像头视频来估算帕金森病（PD）严重程度评估的转体角度。该方法从视频中提取3D骨骼，计算髋关节和膝关节的旋转，并在自由生活家庭视频的数据集上实现了41.6%的转体计算准确率，平均绝对误差为34.7°。这项工作首次在家居环境中量化帕金森病患者的转体，旨在提供比传统基于诊所的评估更敏感的疾病进展指标。
-
AI系统预测人体运动，实现自主远程康复
研究人员开发了一种新颖的远程康复系统，该系统结合了骨骼运动预测和关节级别性能评估。该系统使用自注意力双向LSTM进行运动质量分类，并使用基于图的模块预测每个关节的位置误差。该分类器在PROZIS数据集上达到了96.45%的准确率，而预测器在Human3.6M数据集上达到了75.8毫米的平均MPJPE，优于现有基线。该框架旨在通过实现自主、反馈驱动的远程康复，提供可访问且可扩展的康复解决方案。
-
新型HSTGFormer模型推动3D人体姿态估计发展
研究人员推出HSTGFormer，这是一个新颖的、增强了图结构的Transformer框架，用于单目3D人体姿态估计。该模型通过在关节-时间节点上采用局部耦合图聚合来重新构建空间-时间推理。它利用超空间-时间图（HSTG）将推理分解为局部感受野，并利用自适应双尺度时间图（ADSTG）来捕捉关节特异性时间依赖性。在Human3.6M和MPI-INF-3DHP数据集上的实验表明，HSTGFormer在显著的计算效率下实现了高精度。
-
PRGCN论文提出跨序列模式复用用于3D人体姿态估计
一篇研究论文介绍了一种新颖的单目3D人体姿态估计框架——模式复用图卷积网络（PRGCN）。该方法通过学习和复用不同人体运动序列之间的模式，解决了孤立处理序列的局限性。PRGCN利用图记忆库存储姿态原型，并通过注意力机制进行动态检索，通过记忆驱动的图卷积增强了几何合理性。在Human3.6M和MPI-INF-3DHP基准上的评估表明，PRGCN取得了最先进的成果，这表明跨序列模式复用对于推动该领域的发展至关重要。
-
新型BioModule transformer连接三维姿态估计与生物力学分析
研究人员开发了BioModule，这是一种新颖的时间Transformer，旨在通过预测生物力学属性来增强三维人体姿态估计。该即插即用模块无需修改即可与现有姿态估计器配合使用，从而为康复、运动科学和临床环境中的应用提供更具物理可解释性的运动分析。BioModule使用了一个新数据集进行训练和评估，该数据集将Human3.6M视频和关键点与Human3.6Mplus的生物力学标签对齐，证明了其在各种最先进姿态估计方法中的有效性。
-
Superman框架统一人类运动感知与生成
研究人员推出Superman，一个旨在统一人类运动感知与生成任务的新型框架。该系统弥合了从视频理解运动与生成基于骨骼的时间运动之间的差距。Superman利用视觉引导运动标记器，从视觉数据和3D骨骼创建统一的、跨模态的运动词汇。单一的MLLM架构随后处理各种任务，包括从视频进行3D姿态估计，以及基于骨骼的运动预测和插值，在Human3.6M等基准测试中取得了最先进的成果。
-
新框架Again-Pose增强了在严峻视频条件下的3D人体姿态重建
研究人员开发了一个名为Again-Pose的新框架，用于从视频中重建3D人体姿态，特别是在运动模糊和遮挡等严峻条件下。该方法将问题重新构建为运动引导的恢复任务，识别高质量的“锚定帧”，并将可靠的运动学线索传播到退化的中间帧中以“修复”姿态。在标准基准和专用数据集上的实验表明，Again-Pose在鲁棒性和稳定性方面显著优于现有方法。
-
新模型 ZGL 使用语言改进人类运动预测
研究人员开发了 ZGL，这是一种新颖的语言条件模型，用于预测人类运动。该模型将来自运动描述的语义引导集成到一个强大的运动预测骨干中。通过使用视觉语言模型为观察到的姿势生成字幕，然后使用 CLIP-L 对这些字幕进行编码，ZGL 通过带有零门的交叉注意力适配器将条件令牌注入 Transformer 架构。这种方法允许模型仅在语言条件能够提高预测准确性时才学习语言条件，在 Human3.6M 数据集上展示了增强的性能，并显示了向 CMUM…
-
新模型整合语言描述，用于三维人体运动预测
研究人员开发了ZGL，一种新颖的语言条件化三维人体运动预测模型。该模型将运动描述的语义引导整合到Transformer架构中，使用带有零门的紧凑型交叉注意力适配器。这种方法允许模型仅在语言条件化能提高预测准确性时才学习。ZGL在Human3.6M数据集上表现出增强的性能，并显示出向CMUMocap基准的有效迁移能力。
-
MuNet通过新颖的互惠网络推进3D人体重建
研究人员推出MuNet，这是一种新颖的互惠网络，旨在从单张图像中联合执行3D人体网格恢复和3D服装人体重建。该统一框架利用了这两项任务之间的相互依赖性，网格恢复指导重建，重建反馈完善网格。MuNet在训练期间利用图卷积网络和互惠机制进行相互作用。在六个基准数据集上的评估表明，MuNet在两项任务上均取得了最先进的性能，并且其代码已发布供研究使用。
-
超几何几何学提升三维人体姿态估计精度
研究人员开发了 HYPERPOSE，一个利用超几何几何学来更好地表示人体骨骼分层结构的新型三维人体姿态估计框架。与在欧几里得空间中运行且难以保持结构一致性的现有方法不同，HYPERPOSE 使用超几何运动相空间注意力（Hyperbolic Kinematic Phase-Space Attention）无失真地嵌入关节关系。该系统还包含一个新颖的黎曼损失套件（Riemannian loss suite）和一个不确定性加权课程（unce…
-
研究人员开发用于非标定多视角人体姿态估计的新型AI
研究人员开发了用于3D人体姿态估计的新方法，其中一项研究侧重于2D预训练在提高计算效率和跨数据集泛化能力方面的优势。该方法在MPII和Human3.6M等基准测试上的表现持续优于仅使用3D数据训练的方法，并达到了特定的性能指标。另一篇论文介绍了一个用于多视角姿态估计的非标定框架，该框架利用深度神经网络、代数先验和时间动态，无需精确的相机标定即可工作，为此类方法设定了新的最先进水平。
-
MixTGFormer 在三维人体姿态估计方面达到最先进水平
研究人员开发了一种名为 MixTGFormer 的新方法用于三维人体姿态估计，旨在改进现有的基于 Transformer 的方法。这种新颖的网络将图卷积网络 (GCN) 集成到其 Transformer 架构中，以更好地捕捉局部骨骼关系和全局时空动态。在 Human3.6M 和 MPI-INF-3DHP 基准数据集上的实验表明，MixTGFormer 取得了最先进的成果，优于其他方法。