Micromouse

新的MicroMouse框架掩盖了大型语言模型推理中的有害监督

研究人员开发了一个名为MicroMouse的新框架，通过识别和掩盖长链式思考（CoT）推理过程中的“有害监督”来改进大型语言模型（LLMs）的训练。MicroMouse受解迷宫的启发，使用“相对势能”（REP）指标来衡量每个推理步骤与正确答案的接近程度，并将其与一个看似正确的错误答案进行对比。这种方法有助于在监督微调（SFT）过程中过滤掉冗余或错误的步骤，从而提高LLM推理的准确性和效率。