Nan Qiao

新的 T5 方法通过双评论员增强语言模型学习

研究人员开发了一种名为 T5（或双评论员训练）的新方法，以改进语言模型在强化中期训练中学习内部思维的方式。该技术解决了在 Token 级别分配信用方面的挑战，这对于从无标签文本中进行有效学习至关重要。T5 利用两个评论员，就单个生成轨迹的 Token 级别优势提供校准反馈，旨在减少更新漂移并保留学习信号。实验表明，与现有方法相比，T5 显著提高了基准性能并缩短了训练时间。