实体 GPT-X2-125M

GPT-X2-125M

PulseAugur coverage of GPT-X2-125M — every cluster mentioning GPT-X2-125M across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_254183 · Sep 15 · 04:00

在 150M 参数以下模型中，更深、更窄的模型优于更宽的模型

研究人员探索了 1.5 亿以下参数模型中模型深度与宽度的影响，发现在使用相同的训练方法和数据的情况下，更深、更窄的架构（23 层 x 576 隐藏层）优于更宽、更浅的架构（53.5M vs 110M 参数）。较大的 110M 参数模型在 BLiMP 和 ARC-Easy 等基准测试中取得了更好的结果，且训练 token 更少，这表明在此参数范围内，深度比规模更关键。使用值残差和 Muon 优化器的进一步实验在 ARC-Easy 基准测…