English(EN) Reward-Decomposed Reinforcement Learning for Immersive Video Role-Playing

新的EBM-RL框架通过视觉基础增强视频角色扮演

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-06 10:32

研究人员开发了一个名为EBM-RL的新框架，该框架采用解耦方法来改进沉浸式视频应用中的角色扮演对话。该方法明确分离视觉感知、推理和话语生成，以增强角色的真实性和场景氛围。EBM-RL集成了多种奖励，包括基于CLIP的场景-文本对齐奖励和感知-认知奖励，以在角色扮演基准测试上取得更好的性能，并泛化到VideoQA任务。该团队还发布了一个用于视频基础角色扮演对话的开源数据集。 AI

影响引入了一个新颖的框架，以实现更具沉浸感和真实感的AI驱动的角色扮演体验，在VR和互动叙事中有潜在应用。

排序理由这是一篇详细介绍视频基础角色扮演对话的新框架和数据集的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Yaduan Ruan · 2026-05-06 10:32

Reward-Decomposed Reinforcement Learning for Immersive Video Role-Playing

Text-based role-playing models can imitate character styles, yet they often fail to reflect a scene's atmosphere and evolving tension, both essential for immersive applications such as Virtual Reality (VR) games and interactive narratives. We study video-grounded role-playing dia…

报道来源 [1]

Reward-Decomposed Reinforcement Learning for Immersive Video Role-Playing

相关实体

相关话题