实体
GPT-2 124M
GPT-2 124M
PulseAugur coverage of GPT-2 124M — every cluster mentioning GPT-2 124M across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的ELO算法增强了学优化器在长视野任务上的性能
研究人员开发了一种名为ELO（Efficient Long-hOrizon）的新元训练算法，以改进学优化器（LOs）。ELO解决了元训练扩展到长视野问题以及与Adam和Muon等成熟优化器竞争的挑战。该算法将计算重新分配到更长的失败模式，并使用渐进式专家监督来获得稳定的学习信号。实证研究表明，ELO在下游语言建模和图像分类任务上显著增强了LO的性能，其中ELO-Celo2在语言建模上持续优于AdamW，并与Muon保持竞争力，同时元训…
-
研究发现自训练重构语言模型
一篇新的研究论文挑战了对语言模型自训练的普遍理解，认为它重构而非扁平化语言。研究发现，虽然话语标记等表面语言特征有所增加，但问句和被动语态等深层句法结构却有所下降。这种“结构深度假说”认为，语言特征的衰减率主要由其结构复杂性决定，而不仅仅是模型输出中的频率。