Ouro-2.6B

循环Transformer偏好编码研究纠正重大错误

一篇研究论文详细介绍了循环Transformer如何通过在冻结的Ouro-2.6B循环迭代状态上训练轻量级评估器头来编码人类偏好。该研究最初声称在偏好解码方面具有高准确性，但后来发布了勘误，纠正了重大的评估错误。这些错误夸大了结果，包括成对评估器的准确性（这是数据排序的产物）以及因数据泄露而受损的点状探测。虽然关系偏好解码比点状解码更准确的中心发现仍然成立，但其幅度比最初报告的要小，并且修正后的数值无法与端到端奖励模型相媲美。