RWTD

新的RWTD方法通过基于样本的奖励对齐来增强单步生成模型

研究人员开发了一种名为奖励加权传输蒸馏（RWTD）的新型后训练方法，用于单步生成模型。该技术仅使用生成的样本和标量奖励评估即可进行对齐，解决了这些模型训练的难题。RWTD通过混合倾斜的当前和参考分布来构建一个自适应目标，平衡奖励适应与保留先验知识。实证表明，RWTD将SANA Sprint 1.6B骨干模型的GenEval分数从0.73提高到0.80，并在不同奖励上展现出强大的泛化能力。