Cross-Relationship Perturbation

新的CRPL框架增强了大语言模型的指令遵循能力

研究人员推出了一种名为跨关系偏好学习（CRPL）的新框架，旨在提高大型语言模型（LLMs）遵循复杂指令的能力。CRPL通过显式建模不同指令响应空间之间的关系，解决了当前偏好学习方法的局限性。这通过诸如跨关系扰动和跨区域配对采样等技术实现，这些技术生成更多样化的偏好数据并捕捉更广泛的约束变化。该框架还包括一个基于原子约束的验证机制，用于构建高质量的偏好对，并在各种LLM骨干模型和基准测试中展示了显著的改进和强大的泛化能力。