研究人员开发了StreamHOI,一个专为实时、长时人与物体交互(HOI)视频生成设计的新颖框架。与先前仅限于离线、短视频生成的方法不同,StreamHOI解决了在低延迟流式系统中保持交互感知性的挑战。该框架采用偏差引导的记忆专业化训练和记忆距离缩放模块,以优化生成器如何访问和利用历史记忆,特别是针对HOI区域和周围上下文。评估表明,StreamHOI在交互合理性、物体保真度和人物质量方面显著提高,同时实现了17.6 FPS的速度和0.75秒的首段延迟。 AI
影响 通过提高长时HOI视频生成效率和合理性,实现了实时交互式应用。
排序理由 该集群包含一篇详细介绍视频生成新框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →