BTIGW-BC

新算法确保 AI 偏好学习保持在安全范围内

研究人员开发了保守的上下文对决土匪（conservative contextual dueling bandits）的新算法，旨在从成对比较中学习，同时遵守基线约束。这些算法 MaxInP-BC 和 BTIGW-BC 确保显示项的分数保持在可信基线的指定分数范围内，这是诸如使用人类偏好对语言模型进行微调等应用的关键功能。实验表明，这些保守方法满足了约束条件，而无约束的对应方法经常违反这些条件，且仅导致适度的遗憾增加。