GPT-2-124M/350M

新的ELO算法增强了学习型优化器在长时域任务上的性能

研究人员开发了一种新的元训练算法，称为高效长时域（ELO）学习，以解决当前学习型优化器（LOs）的局限性。ELO通过将计算重新分配到更长的失败模式，并提供解耦的渐进式专家监督来稳定学习信号，从而有效地将元训练扩展到长时域的内部问题。这种方法提高了LOs在语言建模和图像分类等下游任务上的性能和分布外泛化能力，ELO训练的优化器持续优于AdamW，并与Muon竞争。