实体 GPT-2-350M

GPT-2-350M

PulseAugur coverage of GPT-2-350M — every cluster mentioning GPT-2-350M across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_138256 · Jul 7 · 20:05

新的ELO算法增强了学优化器在长视野任务上的性能

研究人员开发了一种名为ELO（Efficient Long-hOrizon）的新元训练算法，以改进学优化器（LOs）。ELO解决了元训练扩展到长视野问题以及与Adam和Muon等成熟优化器竞争的挑战。该算法将计算重新分配到更长的失败模式，并使用渐进式专家监督来获得稳定的学习信号。实证研究表明，ELO在下游语言建模和图像分类任务上显著增强了LO的性能，其中ELO-Celo2在语言建模上持续优于AdamW，并与Muon保持竞争力，同时元训…