GC-OPD

新的GC-OPD方法将LLM教师偏好与任务成功率对齐

一种名为GC-OPD的新方法已被开发出来，用于解决大型语言模型上策略蒸馏中的差异。该方法协调了教师模型在token层面的似然度偏好与生成响应的实际任务成功率。标准的上策略蒸馏可能导致不匹配，即响应在局部上是合理的，但未能满足整体任务要求，尤其是在长上下文的情况下。GC-OPD引入了一个残差项，该残差项根据响应级别的验证器奖励来校准教师的信号，将训练更新集中在不一致的区域。