Yixiao Chen

新研究提出语言模型训练的自适应监督

一篇新研究论文提出了一种语言模型的“数据教学”原则，建议监督应适应训练过程中遇到的特定瓶颈。该论文确定了三个关键瓶颈：计算形成、内容可用性和路由选择。通过定位缺失的操作、保留其因果关系并改变上下文，所提出的方法旨在提高学习效率和长上下文理解能力。对一个3.5亿参数模型的实验表明，这种顺序干预方法优于阶段替换方法，突显了定制监督比简单地重新排序困难示例更重要。