一位用户使用 FineWeb-Edu 数据集中的 10 亿个 token 训练了一个拥有 0.5 百万参数的小型语言模型。该模型名为 Silia-v2，是对先前研究论文的迭代，并采用了 Qwen 的 HydraHead 和 Apple 的 Attention Free Transformer 等架构改进，以降低计算需求。该模型已在 HellaSwag、PIQA 和 LAMBADA 数据集上与其他小型模型进行了基准测试。 AI
影响 展示了在小型模型和新颖架构组件方面的持续实验。
排序理由 用户训练的模型发布，附带相关论文和基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
