ACWM-RM

新的奖励模型联合评估视觉质量和动作遵循保真度

研究人员开发了ACWM-RM，这是一种新颖的奖励模型，旨在通过联合评估视觉质量（VQ）和动作遵循保真度（AF）来改进动作条件世界模型（ACWMs），而无需地面真实视频。该模型解决了现有奖励模型通常只关注一个维度或在生成内容方面存在困难的局限性。为了训练ACWM-RM，创建了一个名为AVM-Pref的新数据集，其中包含超过50万个互补监督的偏好对。在AVM-Eval基准上的评估表明，ACWM-RM在强化学习实验中的性能优于基线奖励。