研究人员探索了将转向向量（SV）用作训练后大型语言模型（LLM）的训练信号。他们的框架研究了在监督学习（包括监督微调（SFT）和知识蒸馏）期间注入SV，以及在GRPO中用于强化学习的优势修复机制。在监督设置中，SV注入在特定任务上比标准的SFT和蒸馏表现出更高的性能，特别是从具有“思考模式”的教师模型进行蒸馏时，性能提升高达12%。对于强化学习，将正确性对比方向作为不正确回滚的优势修复，有助于恢复一个转移到数学基准的学习信号，并充当一个可组合的辅助信号。然而，该研究也发现了一些局限性，例如代码生成可能破坏方向性，跨家族层转移影响放置，以及在SV训练过的检查点上进行推理时应用会影响干预机制。 AI
影响 这项研究引入了一种改进LLM训练的新方法，有望带来更强大、更可控的模型。
排序理由 学术论文，详细介绍了LLM训练的一种新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
