Strawberry-s1

117M Silia 模型在 H100 上 5 小时内训练完成

一个拥有 1.17 亿参数的 Silia 模型仅用 5 小时就在 H100 GPU 上训练完成，使用了 synth-100M 数据集。该模型的架构在研究论文中有详细介绍，包括多头注意力和旋转位置嵌入。尽管训练速度很快，但由于数据集大小和学习率有限，该模型被认为训练不足，尽管一个参数量为 1150 万的较小 Silia 模型在验证损失方面表现与 nanoGPT 相当。