Localized Context Distillation

新的局部上下文蒸馏方法增强LLM学习能力

研究人员开发了一种名为局部上下文蒸馏（LoCD）的新方法，以改进大型语言模型从交互经验中学习的方式。传统的上下文蒸馏方法存在暴露偏差或信息状态不足等问题。LoCD通过识别模型轨迹中需要改进的关键部分，并让教师模型仅重新生成这些特定片段来解决这些问题。这种方法将学习集中在信息量最大的状态上，同时最大限度地减少偏差，从而在数学推理和代码生成等各种任务中实现更稳定的训练和更好的性能。