Noise Policy Optimization

新的噪声策略优化方法改进了少步生成模型

研究人员开发了一种名为噪声策略优化（NPO）的新方法，以更好地将少步生成模型与期望的属性对齐，特别是在只有黑盒奖励评估可用时。与直接的强化学习微调或测试时缩放不同，NPO学习生成器初始噪声空间的策略。这种方法允许模型将高斯噪声传输到奖励倾斜的分布，从而有效地引导生成器的输出而不改变预训练模型。NPO在图像、语言和蛋白质结构生成中展示了改进的奖励-质量权衡，取得了与测试时搜索方法相当的结果，但推理成本显著降低。