FineWeb
PulseAugur coverage of FineWeb — every cluster mentioning FineWeb across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
开发者创建了用于CPU部署的高效量化LLM
一位开发者创建了一个自定义的量化大型语言模型（LLM），拥有2.5亿个参数，在300亿个token上进行了训练。该模型专为极致效率而设计，部署大小仅为60MB，且内存占用极少，使其能够在标准笔记本电脑CPU上以大约每秒400个token的速度运行，无需GPU。它具有独特的长上下文机制，可以将旧的token压缩到磁盘，从而能够访问多达1亿个token的历史记录，尽管其推理能力仅限于从这个扩展缓存中检索。
-
受量子启发的复杂状态可大幅减少LLM训练步数
研究人员探索了一种训练序列模型的新方法，该方法利用受量子理论启发的复数值状态表示，而不是传统的实数值状态。这种“量子捷径”方法应用于Mamba和Transformer模型时，显著减少了达到目标验证损失所需的优化步数。具体而言，复数值模型以其对应实数值模型的约三分之一到二分之一的步数实现了这些结果，展示了加速大型语言模型训练的潜在途径。
-
新模型CheMatE统一化学结构和自然语言
研究人员开发了CheMatE，这是一种新的嵌入模型，旨在统一空间中联合表示化学结构（SMILES）和自然语言。CheMatE基于ModernBERT骨干构建，采用两阶段训练过程：在大量科学文档语料库上继续进行掩码语言建模，随后与算法生成的SMILES-文本对进行对比学习。这种方法旨在防止对化学语法过度拟合，并保留基础语义能力，在分子性质预测和科学语言理解任务中展现出稳健且可迁移的表示。
-
新的 cMoLLM 架构通过动态卷积缩放 LLM
研究人员推出了一种新颖的大型语言模型缩放方法 cMoLLM，该方法将混合专家（MoE）风格融入整个模型管道，而不仅仅是前馈网络。该方法将 MoE 层重新构建为动态卷积，允许进行条件于输入的核聚合以及端到端流的可微分路由。在 FineWeb 数据集上使用 GPT-2 风格模型进行的实验表明，在匹配的计算预算下，cMoLLM 提高了语言建模困惑度和下游任务的准确性，与 ParaScale 和 AltUp 等现有方法相比，显示出更稳定的优化…
-
新技术旨在提高LLM KV缓存效率和准确性
研究人员正在探索新颖的方法来优化大型语言模型的KV缓存，以提高其效率。KV缓存是推理的关键组件，但以其高内存和带宽需求而闻名。一种称为局部分布恢复的方法，旨在通过专注于恢复logits的局部分布来减轻低比特KV缓存量化引起的准确性下降。另一项研究调查了训练时正则化技术（特别是SIGReg）是否可以重塑模型表示以更好地支持KV缓存量化，发现直接KV正则化在某些量化方案下是有益的，但其优势会随着更先进的方法而减弱。
-
研究人员探索自适应深度和循环折叠以优化 Transformer
两篇新研究论文探索了通过动态调整深度来优化 Transformer 模型的新方法。第一篇论文《Looped Transformers 中的自适应深度》研究了学习到的停止门和轨迹读出，发现固定的先验深度监督可以带来更好的性能和实际的推理时间节省。第二篇论文《Mobius Learning: Transformers 中的循环深度折叠》介绍了一种训练架构，其中不同的数据流遵循循环移位的块顺序，允许块同时针对浅层和深层角色进行优化，并在内存…
-
新的ELO算法增强了学习型优化器在长时域任务上的性能
研究人员开发了一种新的元训练算法，称为高效长时域（ELO）学习，以解决当前学习型优化器（LOs）的局限性。ELO通过将计算重新分配到更长的失败模式，并提供解耦的渐进式专家监督来稳定学习信号，从而有效地将元训练扩展到长时域的内部问题。这种方法提高了LOs在语言建模和图像分类等下游任务上的性能和分布外泛化能力，ELO训练的优化器持续优于AdamW，并与Muon竞争。
-
新的ELO算法增强了学优化器在长视野任务上的性能
研究人员开发了一种名为ELO（Efficient Long-hOrizon）的新元训练算法，以改进学优化器（LOs）。ELO解决了元训练扩展到长视野问题以及与Adam和Muon等成熟优化器竞争的挑战。该算法将计算重新分配到更长的失败模式，并使用渐进式专家监督来获得稳定的学习信号。实证研究表明，ELO在下游语言建模和图像分类任务上显著增强了LO的性能，其中ELO-Celo2在语言建模上持续优于AdamW，并与Muon保持竞争力，同时元训…
-
Spokes框架将AI预训练数据多样性提升489%
研究人员开发了一个名为Spokes的新概率多样化框架，该框架可优化预训练数据选择的多样性。该方法利用G-Vendi分数和指数梯度下降来创建比随机抽样多样性显著更高的数据子集，G-Vendi分数提高了489%。当应用于FineWeb和DCLM等数据集时，Spokes在下游性能上平均比随机抽样提高了0.4至0.5个百分点。通过Spokes联合优化质量和多样性可获得最佳结果，比基线提高了1.4至1.5个百分点。
-
FineWeb 数据集分析工作流强调 LLM 数据效率
研究人员正在探索大型语言模型中的数据效率，新的 FineWeb 数据集分析工作流对此进行了展示。本教程展示了检查该数据集的先进方法，突出了潜在的效率提升。
-
FineWeb 数据集：网络语料库分析实践教程
本教程提供了关于使用 FineWeb 数据集（一个大规模网络语料库）的实践指南。它演示了如何流式处理和分析数据集样本，包括使用 GPT-2 分词器等工具进行过滤、去重和分词。该指南还涵盖了分析 URL、语言和词元计数等元数据，以及实现类似于 C4 等数据集所用质量过滤流程。
-
WebKnoGraph框架使用GNN优化网站内部链接
研究人员开发了WebKnoGraph，一个开源框架，用于评估网站的内部链接策略。该工具将网站建模为图，使用GraphSAGE对潜在链接进行评分，并评估它们对权威性和语义连贯性的影响。在基于FineWeb的图上进行的实验表明，自动链接选择可以更有效地提升权威性，而专家辅助方法能更好地保持语义连贯性。
-
新的q0预训练方法提高了LLM数据效率
研究人员引入了一种名为q0的新预训练方法，旨在提高大型语言模型的数据效率。该技术将重点从优化单个模型转移到训练多样化的模型群体并聚合它们的预测。q0利用了周期性调度、链式蒸馏和学习先验，在数据效率方面取得了显著的进步，优于传统的集成方法。
-
新的SDP框架将模型训练内存使用量减少高达60%
研究人员开发了一种名为子网络数据并行（SDP）的新型分布式训练框架，以解决预训练大型神经网络的高内存需求和通信成本问题。SDP将模型划分为结构化子网络，这些子网络可以在工作节点之间进行训练，而无需交换激活值，从而显著降低了每个设备的内存使用量。该框架采用了反向和前向掩码技术，以及神经元或块级别的构建策略，以在FLOP匹配的设置中实现效率提升和性能改进。
-
新的Polar Express方法加速了用于深度学习的矩阵分解
研究人员开发了一种新的、对GPU友好的算法Polar Express，用于计算矩阵分解，这对于训练深度神经网络中使用的Muon优化器至关重要。该方法通过在最坏情况下最小化误差来优化GPU上的高吞吐量并实现快速收敛。当与Muon优化器集成时，Polar Express在大型数据集上训练的GPT-2模型中表现出改进的验证损失，优于现有替代方案。
-
研究人员构建小型AI模型以最小化FineWeb数据集上的损失
研究人员开发了一种快速训练小型AI模型的方法，重点关注在特定约束条件下最小化损失。该方法旨在使高效、紧凑模型的开发更加易于实现。
-
交互式指南解释了像 ChatGPT 这样的大型语言模型是如何构建的
一个基于 Andrej Karpathy 讲座的新交互式可视化指南，解释了构建大型语言模型的复杂过程。它详细介绍了从收集大量互联网文本到最终进行分词以供神经网络处理的整个过程。该指南强调了数据质量和多样性在训练中的关键作用，并重点介绍了过滤、去重和移除个人身份信息等步骤，以创建像 FineWeb 这样高质量的数据集。