Nilesh Prasad Pandey

NgramRL通过感知回滚的N元语法推测解码加速LLM训练

研究人员开发了NgramRL，一种加速大型语言模型（LLM）强化学习（RL）训练后阶段的新颖方法。该技术解决了自回归回滚生成的高昂成本问题，该成本可能占训练时间的70%以上。NgramRL利用从近期回滚历史构建的每个提示的N元语法草稿生成器，无需辅助模型或持久GPU状态。自适应扇出预取器通过预测验证结果进一步优化性能，从而在每次前向传播的令牌承诺方面取得显著改进。