FaQiang Qian

新的AAPA框架通过对抗性锚定改进了大型语言模型的对齐

研究人员推出了一种新颖的框架AAPA，旨在增强大型语言模型训练后的对齐。这个即插即用框架在句子级别上用对抗性锚定信号增强了现有的训练目标。AAPA使用轻量级判别器将策略部署与预先收集的专家响应进行比较，从而避免了在线教师推理或判别器协同训练的需要。实验表明，AAPA在各种模型规模上持续改进了基础目标，尤其是在指令遵循基准测试上提高了性能。