研究人员开发了一个名为Pareto Frontier-Guided Optimal Transport (PG-OT)的新框架,以改进文本到图像生成模型的对齐。该方法解决了平衡不同奖励模型和减轻奖励攻击的挑战,奖励攻击是指模型性能指标提高但感知质量下降的现象。PG-OT构建了一个特定于提示的Pareto前沿,并使用最优传输将受支配的样本映射到该前沿,提供了在线和离线优化策略。引入了新的指标Joint Domination Rate (JDR)和Joint Collapse Rate (JCR)来量化多奖励协同作用和奖励攻击,实验表明JDR提高了11%,在人类评估中获胜率为80%。 AI
影响 这项研究通过解决奖励攻击和改进多目标对齐,可能带来更强大、更可靠的AI图像生成模型。
排序理由 该集群包含一篇详细介绍AI模型对齐新框架和方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- DagsHub
- Hugging Face
- Joint Collapse Rate
- Joint Domination Rate
- optimal transport
- Pareto Frontier-Guided Optimal Transport
- reward hacking
- text-to-image generation models
- Ying Bai
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →