KL-regularized policy improvement

新的LLM训练框架Route-and-Generate优化推理效率

研究人员推出了一种名为Route-and-Generate (Rouge) 的新型训练框架，旨在增强大型语言模型 (LLM) 的推理能力。该框架允许LLM动态确定不同输入的必要推理水平，通过在各种推理格式中分配固定的采样预算来优化性能。该系统使用通过KL-正则化策略改进更新的路由策略，鼓励对简单任务给出简洁的答案，对复杂任务进行更广泛的推理，从而提高基准测试的准确性-效率权衡。