Miao Wang

新的EBM-RL框架改进了视频角色扮演对话

研究人员开发了一个名为EBM-RL的新框架，该框架通过分离感知、推理和响应生成来增强视频基础的角色扮演对话。这种方法模仿了人类的认知过程，允许对话在生成响应之前基于视觉信息。EBM-RL集成了多种奖励来优化场景-文本对齐、感知效用和响应忠实度，在沉浸式角色扮演基准测试中表现优于现有模型，并展示了强大的零样本迁移能力到其他视觉-语言任务。该团队还发布了一个用于此类对话的开源数据集。