Behave
PulseAugur coverage of Behave — every cluster mentioning Behave across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新AI任务生成面向身份感知的人体-物体交互描述
研究人员引入了一项名为“面向身份感知的人体-物体交互运动描述”的新任务，旨在生成同时指定主体身份及其与物体交互的描述。这种方法超越了诸如“一个人”之类的通用描述，而是生成更具体的陈述，例如“Sub_ID 抬起椅子”。为此，他们开发了 ID-HOINet 模型，该模型利用多视角视频学习身份和交互特征，并通过两阶段的描述重写策略生成最终的面向身份的描述。实验表明，ID-HOINet 在此任务上取得了最先进的性能。
-
IMAGIN-4D 使用图像条件生成人与物交互
研究人员开发了 IMAGIN-4D，一种新颖的基于扩散的系统，用于生成利用参考图像进行更精确控制的人与物交互（HOI）。与依赖文本、物体几何或航点（waypoints）的先前方法不同，IMAGIN-4D 在空间和时间上分解了图像条件。这使得系统能够从参考图像中提取特定帧的特定交互状态，并关注生成序列中的不同视觉线索。与现有基线相比，该系统在细粒度交互控制和航点遵循方面表现出改进。
-
LooseControlVideo 框架增强了文本到视频生成中的三维空间控制
研究人员开发了 LooseControlVideo，这是一个旨在提高文本到视频生成中导演式控制的新框架，特别适用于复杂的多对象场景。该系统利用稀疏、定向的三维框作为“遮挡”机制，允许用户定义高级布局和轨迹。通过使用一种名为 DNOCS 的新颖三维编码对 Wan-2.2 模型进行微调，LooseControlVideo 可以生成逼真的遮挡和交互，在 nuScenes 和 HO-3D 等基准测试中显著优于现有方法。
-
LooseControlVideo 在文本到视频生成中实现直观的 3D 空间控制
研究人员开发了 LooseControlVideo，一个新颖的文本到视频生成框架，它提供了直观的 3D 空间控制。与之前需要密集、逐帧精确引导的方法不同，LooseControlVideo 使用稀疏、定向的 3D 框作为高级布局和轨迹创作的代理。该系统在带有 DNOCS 注释的数据集上对 Wan 2.2 主干进行了微调，实现了逼真的遮挡和交互。在 nuScenes 和 HO-3D 等基准上的评估显示，与现有基线相比，轨迹准确性和遮挡处…
-
BEHAVE框架实时模拟集体人类动力学
研究人员推出了一种新颖的混合人工智能框架BEHAVE，旨在实时模拟人类群体的集体动力学。与专注于个体行为或事后分析的现有系统不同，BEHAVE将人际互动视为一个复杂的动力学系统。它利用可观察到的物理信号（如位置和速度）来构建一个行为场，该行为场能够捕捉群体的状态并预测不同动力学之间的转换。