研究人员推出了一种名为Route-and-Generate (Rouge) 的新型训练框架,旨在增强大型语言模型 (LLM) 的推理能力。该框架允许LLM动态确定不同输入的必要推理水平,通过在各种推理格式中分配固定的采样预算来优化性能。该系统使用通过KL-正则化策略改进更新的路由策略,鼓励对简单任务给出简洁的答案,对复杂任务进行更广泛的推理,从而提高基准测试的准确性-效率权衡。 AI
影响 这一新的训练框架通过优化推理过程,有望带来更高效、更准确的LLM。
排序理由 该集群包含一篇详细介绍LLM新训练方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →