OGC-DPO

新的OGC-DPO框架改进了LLM在多个目标上的对齐

研究人员开发了一个名为OGC-DPO（Objective-conditioned Gradient Coverage DPO）的新主动学习框架，以更有效地将大型语言模型（LLM）与有用性、无害性和诚实性等多个目标进行对齐。该方法通过智能选择最有可能改进模型策略的偏好判断来降低标注成本。与以前的方法不同，OGC-DPO专门处理冲突的偏好，将其视为策略训练的宝贵信号，而不是需要丢弃的数据。