STAIF

新的STAIF框架通过阶段式优化增强LLM指令遵循能力

研究人员推出了一种新颖的框架STAIF，旨在提高大型语言模型（LLMs）遵循具有多重约束的复杂指令的能力。STAIF采用两阶段优化过程：第一阶段通过带有负样本的偏好优化来优化对主观约束的敏感性，第二阶段通过带有可验证奖励的强化学习来强制严格遵守客观约束。为了促进这一点，开发了一个名为STAINSTRUCT的新双语数据集，包含约31,000条英语和中文的复杂多约束指令。实验表明，STAIF取得了最先进的性能和强大的泛化能力。