REOPOLD

新的REOPOLD框架增强了用于LLM推理的在线策略蒸馏

研究人员开发了REOPOLD，一个旨在提高在线策略蒸馏（OPD）效率的新框架，用于将推理能力转移到更小的语言模型中。现有的OPD方法在统一信用分配方面存在困难，即反馈被平均分配给所有token，尽管信号的重要性各不相同。REOPOLD通过放宽统一分配、控制反馈的应用和强度，以及在训练过程中调整分配规则来解决这个问题。与各种推理任务上的近期基线相比，该方法显示出显著更高的样本效率，并且可以扩展到跨词汇蒸馏和自蒸馏。