TwDPO

新的TwDPO方法利用LLM注意力实现更好的偏好对齐

研究人员推出了一种名为Token加权直接偏好优化（TwDPO）的新方法，用于将大型语言模型与人类偏好对齐。与标准的DPO不同，TwDPO为响应中的单个token分配不同的重要性权重。提出的实现AttentionPO利用LLM自身的注意力机制动态估计这些token权重，使过程具有内容感知性和效率。实验表明，与现有的偏好优化技术相比，AttentionPO在AlpacaEval和MT-Bench等基准测试中显著提高了性能。