HumanML3D
PulseAugur coverage of HumanML3D — every cluster mentioning HumanML3D across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新研究精炼扩散模型噪声以更好地控制视频生成
两篇新研究论文提出了通过操纵初始噪声输入来提高基于扩散的视频生成可控性的新方法。第一篇论文 WINRO 专注于文本到运动生成，通过检索和精炼承载潜在语义结构的“获胜噪声票据”，在不重新训练基础模型的情况下增强文本-运动对齐。第二篇论文 UniCaMo 通过构建共享的 3D 接地运动一致噪声空间来解决可控视频生成问题，通过噪声变形和球形采样实现对对象和相机运动的同时控制，并通过轻量级 LoRA 微调实现最先进的结果。
-
新的Transformer分词器利用语言改进人类运动生成
研究人员开发了一种新颖的语言引导分词器（LG-Tok），用于生成人类运动，它将原始运动数据转换为紧凑、语义丰富的标记。该方法使用基于Transformer的分词器将自然语言与运动对齐，简化了生成模型的学习过程并提高了重建质量。LG-Tok在HumanML3D和Motion-X等基准测试中表现出色，在质量和效率方面均优于现有最先进的方法，即使使用的标记更少。
-
新研究解决可动部件物体运动生成与建模问题
两篇新研究论文 PWM-ArtGen 和 SAMoR 介绍了生成和建模可动部件物体运动的新方法。PWM-ArtGen 通过学习视觉动力学和运动学参数的联合分布，利用部件世界模型并在未标注数据上进行协同训练，专注于从单个图像预测物体的运动学结构。SAMoR 通过开发一种跨拓扑运动表示，将运动片段编码为共享部件标记，解决了具有任意骨架和拓扑的物体运动建模的挑战，在重建方面优于现有基线，并支持文本条件生成。
-
新研究推动扩散模型在量化、运动生成和RLHF方面的进展
研究人员开发了改进扩散模型的新方法。其中一篇论文介绍了引导感知混合精度（GAMP），以解决无分类器引导（CFG）扩散模型中的量化挑战，防止无条件分支漂移。另一篇论文提出了ARDY，一个用于文本和运动学控制的实时、高保真3D人体运动生成的框架。此外，还提出了一种名为ContrastiveCFG的新方法，通过使用对比损失来增强条件扩散模型的采样，以实现更好的概念对齐和过滤。最后，详细介绍了样本高效扩散RLHF的进展，其特点是选择性时间步加…
-
新的 LoRA 变体增强了运动语言智能体的持续学习能力
研究人员开发了新的低秩自适应 (LoRA) 变体，以提高运动语言智能体的持续学习能力。这些智能体需要理解和生成文本中的人类运动，而不会忘记先前学到的技能。所提出的混合专家架构使用基于自动编码器的路由器，在不需要任务标签的情况下选择特定任务的专家。在源自 HumanML3D 的五任务基准测试上的实验表明，在保持运动到文本和文本到运动任务的高质量的同时，遗忘率接近于零。
-
新DC-Motion框架通过文本生成逼真人体运动
研究人员开发了DC-Motion，一个用于从文本生成人体运动的新颖框架。该方法使用离散和连续令牌的组合，将语义含义与细粒度的物理细节分离开来。首先，一个离散-连续VAE将运动分解为离散的语义令牌和连续的动态残差。随后，一个掩码自回归模型解释文本以预测离散结构，而一个扩散模型则重建连续的物理细节。实验表明，DC-Motion在遵循复杂指令方面表现出色，并在HumanML3D和KIT-ML等数据集上实现了运动逼真度和文本对齐的最新性能。
-
VideoMDM 从 2D 视频生成 3D 人体运动，无需 3D 真实数据
研究人员开发了 VideoMDM，一个新颖的基于扩散的框架，用于从 2D 视频监督生成 3D 人体运动。该方法直接从 2D 姿势中训练 3D 运动先验，无需显式的 3D 真实数据。通过使用预训练的 2D 到 3D 提升器作为噪声教师，并采用深度加权 2D 重投影损失，VideoMDM 在 HumanML3D 等基准测试上取得了接近完全 3D 监督模型的性能。该框架还在 Fit3D 和 NBA 等真实视频数据集上取得了成功，生成的运动更…
-
新方法将人类运动转换为文本以供LLM分析
研究人员开发了一种名为结构化运动描述（SMD）的新方法，该方法将人类运动数据转换为自然语言文本。这种方法通过将关节角度和身体运动学表示为描述性文本，绕过了对专用编码器的需求，从而使大型语言模型（LLM）能够直接处理和推理人类运动。SMD在运动问答和运动描述任务上已展示出最先进的性能，优于以往的方法，并提供了可解释性和与各种LLM兼容性等优势，只需少量调整。
-
新AI模型生成具有精确轨迹控制的逼真人体运动
研究人员开发了新的方法来生成逼真的人体运动，使其能够准确地遵循指定的轨迹和文本描述。一种方法CMC采用两阶段扩散过程，首先确保轨迹依从性，然后完成全身运动，并结合选择性修复机制来改进训练。另一种方法MSCoT采用多尺度、粗到精的策略，结合高效的token引导和细化模块，以实现更快、更精确的控制。第三个框架AnchorRoute使用稀疏锚点作为生成和细化的支架，将扩散先验与基于残差的细化求解器相结合，以提高控制精度同时保持运动质量。
-
新方法使用超网络从文本生成风格化人体运动
研究人员开发了一个新颖的框架，用于从文本描述生成风格化的人体运动，解决了当前文本到运动模型的局限性。他们的方法利用超网络在扩散过程中动态调整低秩适配（LoRA）参数，从而在无需大量微调的情况下实现高效和泛化的风格化。该方法能有效捕捉多样化的风格属性，并提高在未见过风格上的性能，在基准数据集上优于现有的最先进技术。
-
新的AI模型实时生成高质量3D人体运动
研究人员开发了新的基于Transformer的框架，用于从文本生成高质量的3D人体运动。MOGO利用分层向量量化和单通道因果Transformer进行实时生成，展示了具有竞争力的质量和改进的性能。MotionHiFlow采用分层流匹配方法，逐步从粗粒度语义生成运动到精细的时间细节，并结合了跨尺度转换和显式结构建模以实现精确对齐。
-
新方法使用LLM实现无编码器的人类运动理解
研究人员开发了一种名为结构化运动描述（SMD）的新颖方法，利用大型语言模型（LLM）来理解人类运动。与先前需要专用编码器来对齐运动数据与LLM嵌入的方法不同，SMD将关节位置序列转换为结构化的自然语言描述。这种基于文本的表示形式使LLM能够利用其现有知识进行运动推理，而无需专门的对齐模块。SMD方法在运动问答和运动字幕生成任务中展示了最先进的性能，同时还提供了跨LLM兼容性（只需少量调整即可）和可解释分析等优势。