Plackett--Luce model

新方法MASS-DPO通过高效的样本选择改进语言模型训练

研究人员开发了MASS-DPO，一种用于直接偏好优化（DPO）的新方法，可高效选择信息丰富的负样本来训练语言模型。该方法使用特定于PL的Fisher信息目标来识别互补信息的负响应的紧凑子集，从而减少了相似候选者的冗余。在推荐和多项选择QA基准上的实验表明，MASS-DPO在负样本数量显著减少的情况下，实现了相当或更优的准确性，改善了优化动态和对齐。