English(EN) I trained a 0.5M model on 1B tokens of Fineweb-edu dataset.

用户在 1B tokens 上训练了 0.5M 参数模型 Silia-v2

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-23 15:51

一位用户使用 FineWeb-Edu 数据集中的 10 亿个 token 训练了一个拥有 0.5 百万参数的小型语言模型。该模型名为 Silia-v2，是对先前研究论文的迭代，并采用了 Qwen 的 HydraHead 和 Apple 的 Attention Free Transformer 等架构改进，以降低计算需求。该模型已在 HellaSwag、PIQA 和 LAMBADA 数据集上与其他小型模型进行了基准测试。 AI

影响展示了在小型模型和新颖架构组件方面的持续实验。

排序理由用户训练的模型发布，附带相关论文和基准测试。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/singularity 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 用户训练的模型发布，附带相关论文和基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: model release, paper; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 48 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

r/singularity TIER_2 English(EN) · /u/SrijSriv211 · 2026-07-23 15:51

我在 Fineweb-edu 数据集上的 1B 个 token 上训练了一个 0.5M 的模型。

<table> <tr><td> <a href="https://www.reddit.com/r/singularity/comments/1v4ht6i/i_trained_a_05m_model_on_1b_tokens_of_finewebedu/"> <img alt="I trained a 0.5M model on 1B tokens of Fineweb-edu dataset." src="https://preview.redd.it/0m9dj1tp30fh1.png?width=140&height=78&au…

本文如何被排名

报道来源 [1]

我在 Fineweb-edu 数据集上的 1B 个 token 上训练了一个 0.5M 的模型。

相关实体

相关话题