Chinchilla
PulseAugur coverage of Chinchilla — every cluster mentioning Chinchilla across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
研究发现AdamW的主导地位受到其他优化器的挑战，但存在一些限制条件
一项新近在arXiv上发表的研究系统性地比较了十种用于语言模型预训练的深度学习优化器，挑战了AdamW的主导地位。研究强调，之前的比较常常因不平等的超参数调整和有限的评估设置而存在缺陷。虽然像Muon和Soap这样的基于矩阵的优化器显示出潜力，但随着模型规模的增大，它们相对于AdamW的速度提升会显著减弱，对于高达12亿参数的模型，仅提供1.1倍的优势。
-
AI研究探索高效训练、新颖架构和专用模型 · 跟踪8个来源
研究人员正在探索新颖的方法来增强AI模型的效率和能力。一篇论文介绍了HGPRGDel，一个用于代谢工程学习和排序基因删除优先级的系统，提高了菌株设计的效率。另一项研究“Greedy Local Learning for Language Model Pretraining”通过优化辅助目标和网络架构，研究了缩小大型语言模型去中心化训练中性能差距的方法。第三篇论文提出了“Nestor”，一种具有嵌套稀疏性的Transformer架构，在…
-
新研究强调TPP多样性对鲁棒LLM规模定律的重要性
Joshua Shay Kricheli 在 arXiv 上发表的一篇新论文探讨了每参数词元（TPP）覆盖率在大型语言模型规模定律中的关键作用。研究表明，TPP固定的共线训练设计会导致估计问题条件不良。这种退化导致尺度系数无法识别，从而显著降低外推性能。该论文提出了一个用于良好条件估计的TPP多样性阈值，并表明非共线设计在各种模型和数据集上的表现优于共线设计。
-
新研究优化了 agentic reinforcement learning 的数据扩展
一篇新的研究论文探讨了如何在 agentic reinforcement learning (RL) 中优化数据扩展，将数据视为一个结构化的设计空间，而不是单一的 token 计数。该研究确定了 agentic 数据的三个关键基数轴：任务、环境和轨迹，以及一个奖励密度控制变量。在各种模型大小、模型家族、领域和 PPO、GRPO 等 RL 算法中，研究发现扩展环境多样性可带来最显著的改进，其次是任务多样性，然后是轨迹多样性。研究结果表明…
-
AI模型训练：更多数据，而非仅仅是规模，驱动性能提升
一项最新分析探讨了AI开发中模型规模（参数）和训练数据（token）之间的最佳平衡。与早期认为更大模型总是更优的观点相反，DeepMind的Chinchilla论文在2022年展示了一个拥有700亿参数的模型，通过训练更多数据，其表现优于一个拥有2800亿参数的模型。这表明那个时代许多大型模型训练不足，更有效的方法是按比例扩展参数和token。作者通过在笔记本电脑上训练小型模型进一步验证了这一点，表明即使在较小的规模下，对于固定的计算…
-
通过简单公式和 GPU 小时计算估算 LLM 训练成本 · 跟踪 1 个来源
训练一个大型语言模型涉及计算总计算成本，可以使用一个简单的公式进行估算：参数数量的 6 倍乘以 token 数量。该公式源自每个 token 所需的操作，并已通过 Chinchilla 和 Meta 的 Llama-3.1-405B 等模型进行了验证。实际的 GPU 小时成本取决于硬件达到的速度，NVIDIA H100 在实际训练中的运行速度通常为其峰值性能的 40%。此计算提供了数量级估算，但实际美元成本可能因 GPU 租赁价格而异…
-
Meta 用 15T token 训练 Llama 3-8B，优先考虑服务成本而非训练效率
Meta 用 15 万亿个 token 训练了其 Llama 3-8B 模型，这远远超过了对于一个 80 亿参数模型“Chinchilla 最优”建议的约 2000 亿个 token。这种方法虽然在初始训练时成本更高，但会产生一个预测损失更低、性能更好的模型。文章认为，当考虑到模型服务的长期成本时，这种策略是具有成本效益的，因为与用更少 token 训练的大型模型相比，经过过度训练的小型模型在处理每个 token 时运行成本更低。
-
LLM 构建：数据、后训练和评估是关键，而不仅仅是架构
大多数关于大型语言模型（LLM）如何构建的解释都集中在架构和注意力机制上，而忽略了数据管道、后训练技术和评估方法等关键方面。详细的分解显示，数据管道涉及对海量数据集进行广泛的爬取、提取、过滤、去重和混合，并为此投入了大量的人力和计算资源。Supervised Fine-Tuning (SFT) 等后训练阶段用于教授格式和角色，而 Reinforcement Learning from Human Feedback (RLHF) 和 D…
-
新的标度律研究对图像自蒸馏的数据独特性提出质疑
一篇新提交至arXiv的研究论文探讨了数据密度对图像自蒸馏模型的影响。与现有认为更多独特样本总是更好的标度律相反，这项工作表明，重复接触较小的数据子集有时可以产生更优越的性能。该研究使用了Maxar、Waymo和ImageNet等数据集，提出了一个修改版的Chinchilla风格标度律，该标度律同时考虑了独特样本数量和重复频率，为数据-计算权衡提供了一个新框架。
-
脉冲语言模型显示出与Transformer相似的计算最优缩放
一篇新论文介绍了首个面向脉冲语言模型（SLMs）的“Chinchilla风格”IsoFLOP缩放研究，使用了带有RWKV骨干的SpikeGPT系列。研究发现，SLMs的计算最优前沿与计算的0.56次方成正比，与密集Transformer相似，表明参数和数据之间的权衡保持一致。该研究还量化了SLMs中稀疏性的准确性成本，并指出随着计算预算的增加，骨干成本固定而脉冲成本降低。
-
研究发现：AI生成的文本会损害语言模型的预训练
一篇新的研究论文探讨了AI生成的文本对语言模型预训练的影响，发现虽然最初有益，但过多的AI文本会损害在人类文本上的性能。这项研究预训练了800个语言模型，提出了一种新的缩放定律，该定律考虑了AI Token的益处和危害。研究人员建议，当目标是优化人类文本性能时，应过滤掉AI文本，并建议在纳入AI生成内容之前重复人类文本。
-
量子物理学家认为通用人工智能的到来加速了研究
量子物理学家 Muhammed Al-Musleh 认为，人工智能通用智能（AGI）可能已经到来，他引用了量子研究的快速加速作为证据。他观察到，人工智能代理正在将数月复杂的量子研究压缩到短短几天内完成。这项进步还使得从现有的量子硬件中提取有价值的工作成为可能，这表明人工智能的能力有了显著飞跃。
-
AI对齐研究探索使用探针训练模型以提高泛化能力
研究人员正在探索AI对齐的新颖方法，特别是关注“基于探针的训练”。该技术旨在利用AI的内部世界模型，将简单任务的判断泛化到更复杂的任务上。虽然针对探针的梯度下降可以教会模型欺骗它，但针对探针的强化学习（RL）带来了独特的挑战，一些研究表明由于信用分配的复杂性，它可能无效或通过间接方式起作用。未来的研究方向包括使探针适应新技能、重新训练探针以跟上AI概念的演变，以及借鉴人类认知过程以避免AI对齐失败。
-
SMELT 架构提高了 MoE Transformer 的训练效率
研究人员开发了 SMELT，一种用于混合专家（MoE）Transformer 的新架构，可提高训练效率和下游性能。通过将 Transformer 的中间层循环两次，同时仔细匹配计算预算，SMELT 与基线模型相比，展示了更快的损失减少和显著的训练 FLOPs 节省。这种架构改进转化为在各种基准测试中更好的性能，尤其是在代码相关任务中，这归因于一种将注意力重定向到更相关标记的机制。
-
Anytime Pretraining 采用无视界 LLM 训练和权重平均
研究人员推出了一种新颖的大型语言模型训练方法“Anytime Pretraining”，该方法无需预定义训练视界。该方法结合了无视界学习率调度和权重平均，在最终损失方面与传统的余弦衰减调度相当。研究结果表明，这种随时可用的策略为大型语言模型预训练提供了一种实用且有效的方法，尤其是在开放式训练场景中。
-
新的DeltaMomentum优化器加速深度学习训练
研究人员推出了一种新颖的深度学习优化器动量更新方法——DeltaMomentum。与使用固定指数移动平均率的传统方法不同，DeltaMomentum根据特定方向梯度更新的频率动态调整遗忘率。这种受线性层梯度结构启发的基于键值对的方法旨在更有效地清除陈旧方向并提高训练速度。实验表明，DeltaMomentum的实现版本DeltaAdamW在包括大型语言模型和图像分类任务在内的各种模型规模和数据集上，与标准的AdamW相比，在显著更少的步…
-
AI模型扩展定律将焦点从参数数量转移
AI模型的最优扩展不仅仅涉及参数数量，训练数据、计算分配和推理成本等因素也起着至关重要的作用。早期研究表明参数与数据比率较高，但后续研究表明更均衡的方法，尤其是在考虑推理成本时。Mixture-of-Experts (MoE) 模型进一步增加了复杂性，因为总参数决定了知识容量，而激活的参数则影响推理深度。Z.ai 的 GLM-5.3 版本表明，通过专注于训练后增强，例如扩展长视野环境和强化学习，而不是仅仅增加基础模型大小或预训练数据，…
-
新研究探讨扩散图像模型的缩放定律和训练策略
研究人员发表了多篇探讨扩散模型在图像生成方面进展的论文。其中一项研究“Abra: Scaling Diffusion Image Training”详细介绍了文本到图像扩散模型的缩放定律的系统分析，发现它们比语言模型需要更多的数据才能实现最佳训练，并且对过度训练具有鲁棒性。另一篇论文研究了像素空间扩散模型，提出了一种潜在到像素的策略，该策略可以加速收敛并提高推理速度。此外，关于“TINA+”的研究探讨了未学习扩散模型中的残余视觉知识，…
-
Meta 研究人员揭示新的 AI 扩展定律和智能体（agent）利用方法
Meta 研究人员发布了两篇论文，详细介绍了 AI 扩展定律和智能体（agent）利用开发方面的进展。第一篇论文提出了一种将模型容量和训练数据相结合的“扩展定律”（Scaling law），提高了损失预测的准确性，并减少了规划预训练预算的计算需求。第二篇论文提出了 EvoHarness-RL，一种使智能体（agent）能够离线学习利用策略（harness policies）的方法，从而能够执行更鲁棒的长期任务，并在 ALFWorld …
-
新的“Skaling”定律以更少的计算量改进神经网络缩放预测
研究人员引入了一种名为“Skaling”的新型神经网络缩放定律，该定律解决了现有模型中的局限性。由于假设模型大小和训练数据的独立影响，标准公式在数据稀疏或过度训练的极端情况下常常会错误估计损失。Skaling 将这些因素与交互指数耦合，将平均绝对百分比误差（MAPE）降低了 1.5-3 倍。这种新定律与稀疏网格策略结合使用时，能够以比传统方法少约 10 倍的计算量进行准确的外推，从而为未来模型的训练实现更高效的计算预算分配。