Nvidia H800
PulseAugur coverage of Nvidia H800 — every cluster mentioning Nvidia H800 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的缩放定律为超稀疏MoE模型解锁超参数调优
研究人员开发了专门针对超稀疏混合专家（MoE）模型的新超参数缩放定律，解决了在不同稀疏度级别之间转移最优学习率和批量大小的挑战。通过涉及1800个实验和约20万亿个标记的大量预训练运行，他们确定了两种不同的缩放机制。研究结果表明，最优批量大小随训练标记而缩放，而学习率受训练计算的影响，并且对模型大小和数据分配具有鲁棒性。这些新定律将激活率作为一个乘法因子，能够更准确地预测稀疏MoE模型的超参数，即使对于拥有数十亿参数和极低专家激活的模型也是如此。
-
新的 Rollplex 运行时提高了 VLM 训练后效率
研究人员开发了 Rollplex，这是一个新的运行时系统，旨在通过强化学习提高视觉语言模型 (VLM) 训练后的效率。当前方法在不同阶段处理 rollout、参考评分和 actor 训练，这对于 VLM 来说效率低下，因为处理密集视频输入和提示前缀的计算成本很高。Rollplex 通过将前缀计算集成到 rollout 解码阶段来解决此问题，从而在不违反同步 on-policy 语义的情况下实现并发执行。这是通过面向阶段的内存管理和面向…
-
新的方法出现，用于AI模型中高效的视觉Token修剪 · 跟踪6个来源
研究人员正在开发新的方法来优化视觉Transformer (ViTs) 和多模态大语言模型 (MLLMs)，通过修剪计算成本高昂的视觉Token。几篇论文提出了新颖的技术，以在不显著降低性能的情况下减少处理的Token数量。这些方法包括递归ViTs的训练后Token合并、使用专用寄存器的任务自适应修剪、预测中间层注意力以确定Token重要性、面向角色的区域分配以及用于设计修剪策略的AI驱动框架。
-
新的 KV 缓存压缩技术提升大语言模型推理性能 · 跟踪 9 个来源
多篇研究论文探讨了优化大语言模型（LLM）服务中的键值（KV）缓存的新技术，以解决内存和性能瓶颈。这些方法包括量化、剪枝、合并和频率引导压缩，旨在减少内存使用并提高长上下文工作负载的推理速度。研究评估了这些技术在各种基准测试和模型上的表现，强调了压缩率、任务质量和系统性能之间的权衡，并建议根据工作负载选择压缩策略。
-
新的QK-Normed MLA方法在无需完全缓存键的情况下稳定LLM注意力
研究人员开发了QK-Normed MLA，一种无需完全缓存键即可稳定大型语言模型中注意力机制的方法。该技术通过分解RMSNorm并将静态权重吸收到现有投影中，将QK归一化集成到多头潜在注意力（MLA）中。与QK剪枝相比，该方法在保持MLA高效解码的同时，实现了更低的训练损失和更高的下游准确性，并且在Nvidia H800硬件上具有最小的延迟开销。
-
中国军方不顾美国出口管制采购英伟达AI芯片
研究表明，在中国实施出口管制后，中国军方仍持续采购先进的英伟达AI芯片。公开文件显示，解放军的多个分支机构曾多次申请采购A100和H100等芯片，用于核模拟到网络战工具等各种应用。尽管美国旨在阻止军事用途的限制措施已出台，但据报道，这些芯片已通过间接渠道和走私活动获得。
-
ChunkFT框架大幅降低Llama 3微调的内存需求
研究人员开发了ChunkFT，一个旨在提高大型语言模型全参数微调内存效率的新框架。该方法允许在动态模型参数子集上进行梯度计算，从而减少对大量GPU内存的需求。使用Llama 3模型进行的实验证明了显著的内存节省，使得在消费级硬件上进行微调成为可能，并在各种下游任务上取得了与传统全参数微调方法相当或更优的性能。