AlignDiff

新框架AlignDiff提升LLM对齐数据质量

研究人员开发了AlignDiff，一个旨在提高用于对齐大型语言模型（LLM）的偏好数据质量的新框架。该框架通过利用内在模型信号以及正向和反向信号之间的差距来识别和优先处理具有挑战性的样本。在LLaMA和Qwen模型上，跨AlpacaEval 2.0、Arena-Hard和MT-Bench等基准的评估表明，AlignDiff的表现持续优于现有基线，并且通过基于难度的课程学习进一步提高了性能。