Samah J Fodeh

新方法通过令牌级偏好优化增强大语言模型对齐

两篇新研究论文介绍了改进大语言模型对齐的新颖方法，特别解决了现有直接偏好优化（DPO）技术的局限性。第一篇论文TAB-PO提出了一种令牌级自适应屏障，用于将梯度更新集中在结构化生成任务中的关键模式令牌上，在Llama和Qwen模型上于SciERC数据集上显示出显著改进。第二篇论文TokenRatio提出了令牌级Bregman偏好优化（TBPO），这是一种将DPO推广到令牌级决策的原则性方法，在各种基准测试中提高了对齐质量、训练稳定性和输出多样性。