Miao Wang

New RL Framework Enhances Immersive Video Role-Playing

研究人员开发了一个名为 EBM-RL 的新强化学习框架，旨在增强沉浸式视频角色扮演体验。该系统通过分离感知、推理和响应生成来模仿人类认知过程，使对话能够基于视觉上下文。EBM-RL 集成了多个奖励信号，以提高场景-文本对齐和角色真实性，在专业基准测试中表现优于现有模型，并展示了对其他视觉-语言任务的零样本迁移能力。该团队还发布了一个用于视频驱动角色扮演对话的新数据集。