研究人员开发了一种名为噪声策略优化(NPO)的新方法,以更好地将少步生成模型与期望的属性对齐,特别是在只有黑盒奖励评估可用时。与直接的强化学习微调或测试时缩放不同,NPO学习生成器初始噪声空间的策略。这种方法允许模型将高斯噪声传输到奖励倾斜的分布,从而有效地引导生成器的输出而不改变预训练模型。NPO在图像、语言和蛋白质结构生成中展示了改进的奖励-质量权衡,取得了与测试时搜索方法相当的结果,但推理成本显著降低。 AI
影响 该方法可以实现对生成模型更有效和更有针对性的控制,提高其在各种应用中的效用。
排序理由 该集群包含一篇详细介绍生成模型新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- Noise Policy Optimization
- Noise-Space Reward Alignment for Few-Step Generative Models
- reinforcement learning
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →