MIN-selection preference distillation

新研究使用 MINT 和 STAGE 解决多目标 LLM 对齐问题

两篇新研究论文提出了同时对齐大型语言模型的多个目标的创新方法。第一篇论文介绍了 MINT（MIN-selection preference distillation），它在对候选响应进行排名时优先考虑最弱的目标，从而实现更平衡的结果，并提高情感支持和谈判等任务的性能。第二篇论文 STAGE 专注于在人类反馈强化学习（RLHF）中引入目标的时机，使用稳定性引导控制器来管理训练期间哪些偏好是活跃的，在多个基准列中展示了更好的平均性能。