FineWeb-Edu
PulseAugur coverage of FineWeb-Edu — every cluster mentioning FineWeb-Edu across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
VIDRAFT 详细介绍了 NPU 与 GPU AI 模型预训练等效性的 5 项检查
VIDRAFT 团队概述了一份用于评估 AI 模型预训练中硬件等效性声明的五点检查清单，并以其 VKORE-325M 模型作为案例研究。他们的分析将运行在 Rebellions ATOM-Max NPU 上的 VKORE-325M 与在 Nvidia B200 GPU 上运行的双模型进行了比较。比较通过了五项检查中的四项，重点关注了相同的初始化、数据、批次和调度，以及确保评估数据确实是未见过的，并且比较是成对进行的。由于每个硬件只进行…
-
仅推理NPU在LLM预训练中达到GPU质量
Vidraft Lab已成功使用REBELLION ATOM-Max（一款商用仅推理NPU）从头开始预训练了一个3.25亿参数的语言模型VKORE-325M-NPU-Base。这一成就挑战了仅推理NPU不能用于训练的观点。在未见过文本数据上的评估中，该NPU的性能与Nvidia B200 GPU相当，损失值分别为0.7993和0.7994。Vidraft已开源模型权重和评估脚本，但其专有的训练框架和对成功训练至关重要的稳定技术仍处于专利保护之下。
-
仅推理的 NPU 在 LLM 预训练质量上媲美 Nvidia B200
研究人员证明，一款仅用于推理的 NPU（Rebellions ATOM-Max）能够成功预训练一个语言模型，其质量可与 Nvidia B200 GPU 上的训练相媲美。该 VKORE-325M-NPU-Base 模型拥有 3.25 亿参数，在 50 亿 token 上从头开始训练。在对未见过文本进行评估时，NPU 训练的模型达到了 0.7993 的损失值，与 GPU 训练模型的 0.7994 损失值几乎没有差别，这表明通过正确的软件栈…
-
新的神经谱容量方法改进了 Transformer 架构预测
研究人员开发了残差感知神经谱容量（ResNSC），这是神经谱容量（NSC）的一项改进，旨在根据 Transformer 模型的架构规范更好地预测其性能。这种新方法考虑了累积的残差更新及其对后续层统计数据的影响，比原始 NSC 提供了更准确的预测。在包括 Llama-7B 在内的各种数据集和模型上进行的实验表明，ResNSC-DP 在可比的参数预算下可以实现更低的困惑度和更高的准确性，优于以前的分配策略。
-
不对称循环 Transformer 提升语言模型效率
研究人员推出了一种新颖的架构——不对称循环 Transformer (AsymLoop)，它通过将上下文编码与迭代状态精炼分离开来，从而提高了语言模型的效率。该设计使用来自单通道编码器的固定全局键值缓存，以及一个从其不断变化的状态生成局部键值缓存的循环解码器。在 FineWeb-Edu 数据集上的实验表明，与标准的循环 Transformer 相比，AsymLoop 在下游任务准确性方面取得了更低的验证困惑度和更高的准确性，其中一个 …
-
新研究探索高效的扩散语言模型和专门的ASR基准测试
研究人员开发了改进语言模型的新方法，重点关注效率和专门任务。一篇论文介绍了分层掩码扩散语言模型（HMDLM），该模型使用优先噪声调度来提高生成质量和推理能力，在LM1B和WikiHow等基准测试中显著降低了困惑度。另一项研究探索了均匀扩散语言模型（UDLM）中的循环，证明递归应用早期Transformer层可以极大地提高训练效率和推理速度，而不会改变核心目标。此外，还创建了一个用于自发尼泊尔语-英语代码转换自动语音识别（ASR）的基准…
-
新的AI架构提升速度并支持NPU训练
研究人员开发了TurboMamba，一种新颖的语言模型架构，可显著提高推理和训练速度，同时增强预测准确性。通过将全局Mamba-3模型与小型Transformer和用于本地上下文的轻量级附加组件相结合，TurboMamba的预测损失比Mamba-3低9.4%，并且在批处理延迟方面实现了高达6.21倍的速度提升。此外，VIDRAFT已展示了完全在仅推理的神经网络处理单元（NPU）上训练AI模型的能力，绕过了传统的GPU要求和CUDA堆栈…
-
脉冲语言模型显示出与Transformer相似的计算最优缩放
一篇新论文介绍了首个面向脉冲语言模型（SLMs）的“Chinchilla风格”IsoFLOP缩放研究，使用了带有RWKV骨干的SpikeGPT系列。研究发现，SLMs的计算最优前沿与计算的0.56次方成正比，与密集Transformer相似，表明参数和数据之间的权衡保持一致。该研究还量化了SLMs中稀疏性的准确性成本，并指出随着计算预算的增加，骨干成本固定而脉冲成本降低。
-
开发者分享构建 APEx 2 混合 LLM 的经验教训
一位开发者分享了构建 APEx 2 混合模型的经验教训，APEx 2 是一种用于抗体发现的定量蛋白质-蛋白质相互作用分析。主要的瓶颈是 GPU 可用性，导致训练数据集从计划的 1 万亿个 token 减少到 800 亿个。开发者发现，使用两个 GH200 实例并每固定步数进行模型合并，比使用单个 H100 更高效且成本效益更高，实现了约 40% 的 MFU。对 FineWeb-Edu 和 DCLM 数据集也进行了大量数据去重，移除了大量重复内容。
-
脉冲神经网络推动节能语言建模 · 跟踪3个来源
研究人员正在探索开发用于语言建模的脉冲神经网络（SNN），旨在比传统Transformer模型实现更高的能效。一种名为NeuronSpark的方法引入了自适应神经元动力学和门控记忆，能够从头开始进行大规模预训练，在硬件上展现出具有竞争力的性能和显著的节能效果。另一项研究调查了SNN的计算最优缩放定律，发现参数与数据之间的权衡与Transformer相似，但量化了脉冲带来的准确性成本。第三篇论文提出了一种由LLM引导的进化方法来发现原生…
-
新AI模型AMOR根据预测不确定性选择性使用注意力
研究人员推出了一种新颖的混合AI架构AMOR（自适应元认知输出路由器），该架构根据预测不确定性选择性地采用注意力机制。这种方法用熵门控注意力块增强了循环骨干网络，这些块仅在模型输出熵超过动态阈值时激活。在FineWeb-Edu数据集上进行测试，采用Mamba2或Gated DeltaNet骨干网络的AMOR变体，在常识推理得分上优于现有的循环、仅注意力以及固定调度的混合模型。该架构还展示了改进的检索性能，并保持了其循环组件的长上下文鲁…
-
新研究分析语言模型中的Z-loss反向几何
一篇新论文从反向传播的角度分析了用于稳定语言模型训练的Z-loss技术。该研究引入了一种“反向传输”视图，将Z-loss的来源与其影响梯度的架构和优化器因素分离开来。这种分析揭示了Z-loss如何在不显著影响验证困惑度的情况下减少参数更新，尤其是在低系数情况下。
-
研究发现：Minibatch persistency 仅节省数据，不提升速度或能耗
一篇新发表在arXiv上的研究论文，调查了minibatch persistency（小批量持久性）的影响。该技术在多次优化步骤中重复使用数据，而不是每次都抽取新数据。研究发现，minibatch persistency 并不能显著节省时间和能源，在较小的批量大小下，它甚至可能导致读取更多的新token。该方法的好处主要体现在数据是稀缺资源的情况下，例如语料库即将耗尽或每个样本都有成本的流水线，即便如此，间隔性epoch（轮次）也可能…
-
在 150M 参数以下模型中，更深、更窄的模型优于更宽的模型
研究人员探索了 1.5 亿以下参数模型中模型深度与宽度的影响，发现在使用相同的训练方法和数据的情况下，更深、更窄的架构（23 层 x 576 隐藏层）优于更宽、更浅的架构（53.5M vs 110M 参数）。较大的 110M 参数模型在 BLiMP 和 ARC-Easy 等基准测试中取得了更好的结果，且训练 token 更少，这表明在此参数范围内，深度比规模更关键。使用值残差和 Muon 优化器的进一步实验在 ARC-Easy 基准测…
-
新流程为LLM预训练评分教育数据
研究人员开发了Edu-QuRating，一个用于多维度教育数据评分和策展的新流程。该系统定义了教育特定标准，并使用LLM裁判来标记文档对，将这些偏好提炼成可重用的Edu-QuRaters。这些评分器可以根据各种教育标准对文本块进行评分，在预测成对判断方面取得了高准确率。该流程已应用于过滤小型语言模型的预训练语料库，从而提高了基准测试的总体准确率，并通过使用Edu-QuRater分数作为奖励项来增强GRPO的训练后阶段，从而在教学质量和…
-
研究发现：LLM中期训练数据构成影响对齐效果
一项新的研究论文探讨了大型语言模型中期训练阶段的最佳数据构成，发现所有领域的中等比例数据（10%-40%）效果最好。该研究使用了Qwen3-8B-Base模型和KOR-Bench数据集，并揭示了即使在随后的对齐阶段，这些特定领域的性能差距依然存在。此外，研究表明，在中期训练中完全省略某个领域会导致准确率下降，尽管这种影响与模型整体漂移部分混合在一起。
-
新的分组值注意力方法大幅缩减 Transformer KV 缓存大小
研究人员推出了一种新颖的方法——分组值注意力（GVA），以减小 Transformer 模型中 KV 缓存的内存占用。GVA 存储分组值，并使用学习到的线性映射来重建键，该键可以在推理过程中集成到查询中。该方法旨在将性能保持在接近分组查询注意力（GQA）的水平，同时显著减小缓存大小，据报道，持久缓存标量减少了 45-47%。该方法以更紧凑的缓存表示实现了接近 GQA 的基准准确性，并且正在开发自定义解码内核以实现更快的推理。
-
Graph Machine 架构提供高效的 LLM 预训练替代方案 · 跟踪 2 个来源
研究人员引入了一种名为 Graph Machine (GM) 的新颖架构，旨在提高大型语言模型的预训练效率。GM 利用稀疏动态路由和指针追逐机制来保持线性状态复杂度，从而可以用更稀疏、更高效的层显著替换密集 Transformer 层。实验表明，在 Qwen3-0.6B 模型中替换 75% 的层仅导致验证损失略有增加，在某些情况下甚至略有改善。
-
OrScale优化方法增强神经网络训练
研究人员推出了一种新颖的优化方法OrScale，旨在改进大型神经网络的训练。OrScale通过将信任比率原则适配到正交化设置中，来解决更新的方向和幅度问题。该方法旨在提供动态的、每层的标量调整，确保优化收益有效地分配到不同的架构组件中。在从1.25亿到160亿参数的模型上进行的实验表明，OrScale在无需额外超参数调优的情况下，可以媲美甚至超越Muon等现有方法。
-
TANGO模型引入了新颖的门控算子用于语言建模
研究人员推出了一种新颖的语言建模架构TANGO，该架构通过非线性门控算子聚合令牌信息。该方法用单个跨令牌门控残差更新取代了标准的Transformer组件。其变体WANGO通过处理最近的窗口并使用旧数据的前缀统计信息，提供了线性复杂度。尽管TANGO的操作次数较高，但TANGO和WANGO在FineWeb-Edu、Lean和DeepMind Mathematics等基准测试上的表现均优于其他模型。