Human-Object Interactions Are More than the Sum of Their Parts.
PulseAugur coverage of Human-Object Interactions Are More than the Sum of Their Parts. — every cluster mentioning Human-Object Interactions Are More than the Sum of Their Parts. across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
MVHOI框架使用3D基础模型进行复杂人-物交互视频重演
研究人员开发了MVHOI，一个新颖的两阶段框架，用于复杂的人-物交互（HOI）视频重演。该系统通过利用3D基础模型，将多视角条件桥接到复杂的HOI场景。该框架首先提取隐式运动动力学，并使用运动驱动对象先验模块从多视角参考中预测对象的方向和外观。随后，一个基于Diffusion Transformer的视频生成模型利用这些预测进行逼真的视频合成，在对象保真度和交互真实性方面优于现有方法。
-
AgentHOI框架利用多智能体推理生成人体-物体交互视频
研究人员推出AgentHOI，一个用于生成人体-物体交互视频的新颖框架。该系统采用多智能体推理来弥合文本描述与动作的物理执行之间的差距，超越了依赖显式运动控制的现有方法。AgentHOI通过隐式对齐策略增强了文本到运动的理解，能够在推理过程中无需显式运动输入即可合成逼真的交互。该框架在交互自然性、物体外观保持性和遵循复杂文本指令方面取得了显著改进。
-
新框架SparseCtrl-HOI使用稀疏关键帧进行人与物体交互视频生成
研究人员开发了SparseCtrl-HOI，一个用于生成人与物体交互视频的新框架，它显著减少了对密集时序引导的需求。该方法仅使用少量关键帧来控制交互过程，降低了标注成本并增加了运动多样性。该框架包含一个时间控制旋转位置嵌入（TiRoPE）用于时序锚定，以及一个利用多模态大语言模型（MLLMs）生成关键帧之间合理过渡的运动先验注入模块。此外，还创建了一个名为SparseHOI-5K的新数据集来支持这种稀疏时序控制方法，在为直播电商等应用…
-
新的SAGE框架统一了动作和注视的识别与预测
研究人员推出SAGE，一个旨在同时识别和预测人类动作及注视模式的新框架。与以往将这些元素分开处理的模型不同，SAGE将它们整合到一个单一的、端到端可训练的模型中。这种统一的方法利用了基于Transformer的架构，并结合了时空注意力机制，该机制纳入了注视数据来预测当前和未来的动作及注视行为。为了支持进一步的研究，还建立了一个名为Exo-Cook的新基准数据集。
-
新的IMU-HOI框架增强了人与物体运动捕捉能力
研究人员开发了IMU-HOI，一个旨在更连贯地捕捉人类运动和物体交互的新框架。该系统利用放置在身体和物体上的惯性测量单元（IMU）来推断人与物体的接触，并将此信息与运动学和惯性推理相结合。该框架旨在提高扩展现实和机器人应用中的运动捕捉精度，尤其是在基于视觉的方法因遮挡而遇到困难的场景中。
-
新AI框架使用物理模拟实现逼真的人体-物体交互
研究人员开发了一个名为“Ours”的新框架，它使用物理模拟器来生成逼真的人体-物体交互（HOI）。这种方法旨在克服当前数据驱动方法在昂贵的动作捕捉数据上的依赖以及泛化能力不足的局限性。“Ours”框架使用强化学习在模拟器中训练策略，以创建面向任务的数据，然后使用这个增强的数据集来训练HOI生成的生成模型。实验表明，该方法提高了对新物体的泛化能力，并实现了更长、更符合物理规律的交互。