Soumya Nasipuri

新方法利用偏好数据改进语言模型对齐

研究人员开发了一种新方法来改进语言模型与人类价值观的对齐，尤其是在使用偏好数据时。该方法解决了现有线性奖励模型的一些局限性，这些模型可能无法满足诸如帕累托最优和多数选择等关键公理。通过引入一个允许与严格线性产生微小偏差的“松弛”机制，新方法计算出一个满足这些公理且具有确定边际的宽松线性奖励。无论投票者是谁或比较是如何收集的，该技术都有效，并且它限制了所需的总松弛量。