研究人员开发了一个名为MicroMouse的新框架,通过识别和掩盖长链式思考(CoT)推理过程中的“有害监督”来改进大型语言模型(LLMs)的训练。MicroMouse受解迷宫的启发,使用“相对势能”(REP)指标来衡量每个推理步骤与正确答案的接近程度,并将其与一个看似正确的错误答案进行对比。这种方法有助于在监督微调(SFT)过程中过滤掉冗余或错误的步骤,从而提高LLM推理的准确性和效率。 AI
影响 这项研究通过提高复杂推理任务训练数据的质量,有望带来更准确、更高效的大型语言模型。
排序理由 该集群包含一篇详细介绍改进大型语言模型训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →