SAM 3D Body
PulseAugur coverage of SAM 3D Body — every cluster mentioning SAM 3D Body across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的FAH模型提供更快、更准确的3D手部估计
研究人员开发了FAH，这是一个新的手部估计模型家族，通过直接预测2D和3D关节及表面点来提高准确性和速度。这些模型是从SAM 3D Body的手部分支微调而来，可以适配MANO或MHR-Hand模型，并可选择性地估计解剖部位和接触点。实验表明，与现有方法相比，在对齐、几何、接触估计和世界空间跟踪方面有了显著改进。默认的ViT-L模型在RTX 4070 Ti SUPER上可达到65 fps，而较小的ViT-S模型可达到125 fps。
-
研究发现，单个耳塞 IMU 可恢复全身 3D 姿态
研究人员开发了一种方法，可以使用单个消费级耳塞的惯性测量单元 (IMU) 的数据来估计全身 3D 姿态。实验表明，单个耳塞 IMU 可以相当准确地恢复下半身姿态，甚至在流式传输延迟下也能保持性能。有趣的是，添加更多消费级 IMU（例如鞋垫中的 IMU）并未显著改善姿态估计，有时甚至会降低其性能，这表明传感器的可靠性（而非数量）是可穿戴设备准确姿态恢复的关键因素。
-
新的蒸馏方法改进了婴儿3D姿态估计
研究人员开发了一种通过跨模型蒸馏来改进婴儿3D人体姿态估计的方法。通过在无标注的婴儿视频上训练SAM 3D Body模型，他们能够从Sapiens 2姿态模型转移知识。这种微调过程提高了2D关键点检测和3D姿态恢复的准确性，展示了婴儿无标记运动捕捉的显著改进。
-
新方法从3D人体模型中提取生物力学姿态
研究人员开发了一种新方法，可以从单个RGB图像中提取生物力学上准确的关节角度，解决了当前3D人体恢复技术的局限性。该方法通过添加一个生物力学预测头来扩展SAM 3D Body基础模型。为了在没有生物力学标签数据的情况下训练这个头，他们使用了自监督蒸馏，通过优化逆运动学拟合来匹配来自无标签图像的网格预测。该模型使用JAX实现，并结合Equinox与MuJoCo一起使用，在SAM-3D-Body数据集上进行了训练，并在MoVi、BioCV…
-
新方法直接从人体模型中提取临床关节角度
研究人员开发了一种新方法，可以直接从参数化人体模型中提取临床关节角度，无需复杂的逆运动学或肌肉骨骼模型拟合。该方法利用人体模型已生成的每段旋转矩阵，实现了与OpenCap Monocular等现有方法相当的精度，但流程大大简化。该技术已被证明可与GEM-X和SAM 3D Body等不同的人体模型配合使用，并且可以从单个摄像头流实时运行，无需额外的参与者数据。这一进展有望使运动分析在远程康复和大规模分散式研究等各种应用中更加易于获取。
-
AI Toolkit 更新以改善图像生成模型中的全身相似度
一位开发者 Fork 了 AI Toolkit 并集成了 Meta 的 SAM 3D Body 模型，以改进用于图像生成的 LoRA 和 LoKr 模型的训练。此增强功能使训练过程能够学习和复制对象的身体形状、身高和比例，而不仅仅是关注面部特征。修改后的工具包包含一个两阶段的训练过程：首先是标准的 LoRA/LoKr 训练，然后是第二阶段，在此阶段 SAM 3D 扫描生成的身体并指导模型实现准确的身体相似度。据报道，此方法将全身相似度…
-
研究发现SAM 3D Body在人体测量学偏差方面存在困难
一篇新论文调查了SAM 3D Body模型的一个局限性，该模型难以准确重建具有明显形态改变的个体的详细人体测量学偏差。研究人员认为，这个问题源于该模型依赖于低维参数表示和语义不变性条件，导致了“回归均值”效应。该论文提出了未来的研究方向，包括混合表示和医学在环路对齐，以提高模型在医疗应用中的精度。