RubricOpt

AI模型现在可以使用RubricOpt框架自我修订训练标准

研究人员开发了RubricOpt，一个旨在通过使模型能够自我修订其训练标准来增强AI模型偏好优化的新框架。该系统允许策略分析自身的输出，识别反复出现的失败，并修改行为标准以解决这些不足。通过维护共享的语义表示和用于证据检查的确定性门控，RubricOpt指导直接偏好优化（DPO）过程，旨在改进标准DPO方法的成果。实验表明，这种评分标准条件化可能导致不同模型和数据集的各种改进和回归。