Nvidia H800
PulseAugur coverage of Nvidia H800 — every cluster mentioning Nvidia H800 across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
摩尔线程2112 GPU无锡集群商用利用率达92.9%
摩尔线程位于无锡的2112 GPU集群已实现高商用利用率。该集群目前服务于55个客户，利用率达到92.9%。使用DeepSeek V4 Flash进行推理的初步测试显示，性能达到H800的92%。
-
DuplexTune框架为MoE语言模型提供内存高效的适应性
研究人员开发了DuplexTune，一个旨在提高专家混合（MoE）语言模型适应性内存效率的新框架。该方法通过重放耦合的隐藏状态通过预训练模块，显著降低了与传统监督微调相比的峰值内存使用量。虽然DuplexTune在MMLU和GSM8K等基准测试中表现出竞争力，但它在内存效率、适应性质量和吞吐量之间存在权衡，尤其影响多语言分数。
-
每月账单低于 10.5K 美元的自托管 LLM 比 API 更昂贵
最近的一项分析表明，对于每月 API 账单低于约 10,500 美元的场景，使用基于云的 LLM API 比在专用硬件上自托管模型更具成本效益。该计算考虑了 8x H200 GPU 节点的月度成本，包括硬件折旧和功耗，以及 Claude Opus 5.5 和 DeepSeek 等领先 API 的吞吐量和定价。研究结果表明，只有在更高的利用率下，自托管才具有经济可行性，而通常只有在每月 API 支出显著增加的情况下才能达到这种利用率。
-
新方法将大语言模型控制编译为更快速、更准确的分层检索增强生成
研究人员开发了一种新方法，用于提高大语言模型（LLM）在结构化决策流程（特别是在分层检索增强生成系统内）中作为控制器时的效率。该技术将自回归大语言模型控制编译为策略精确的并行推理过程，消除了对串行解码的需求。新方法将控制延迟显著降低了 35-47%，同时保持了高准确性，在 84-89% 的问题上与串行策略相匹配。
-
AI公司探索个性化模型以实现长期用户智能
北京人工智能研究院（BIGAI）孵化的团队“通研灵智”正在开发一个递归自改进个人人工智能（RSI）系统。该系统旨在让个人和组织能够随着时间的推移构建和保留自己的AI能力，超越通用模型。通过在共享基础模型之上使用像Personal LoRA这样的轻量级个性化参数，该系统能够实现持续学习并适应用户特定的需求和经验，解决了灾难性遗忘和成本效益等挑战。
-
AUGUstus VLA模型统一生成与理解能力，赋能自动驾驶
研究人员开发了AUGUstus，这是一种新颖的视觉-语言-动作（VLA）模型，专为自动驾驶设计，它统一了动作生成和理解，以克服现有VLA系统的局限性。与以往的模型要么退化为简单的视觉-动作系统，要么因自回归生成而导致高延迟不同，AUGUstus采用了基于扩散的方法进行动作生成，并采用自回归方法进行思维链（CoT）理解。这种统一的架构允许低延迟部署，同时通过在训练过程中使用CoT来监督动作生成，确保了更安全、更精确的轨迹。实验表明，AU…
-
AI代理在多篇研究论文中进化技能和策略 · 跟踪10个来源
近期研究探讨了提高AI代理在复杂环境中自我进化能力的方法。论文引入了诸如CO-evolution Drift Audit (CODA)等技术来评估代理在技能变化下的鲁棒性，以及SkillNEO用于代理技能的非精英优化，显著提升了各种任务的性能。其他工作提出了用于多会话代理强化学习的Mosaic，用于健康LLM代理因果技能自我进化的CausalEvo，以及用于多模态代理自适应技能系统的EvolvingBrain。此外，研究还探讨了自我蒸…
-
新的缩放定律为超稀疏MoE模型解锁超参数调优
研究人员开发了专门针对超稀疏混合专家（MoE）模型的新超参数缩放定律，解决了在不同稀疏度级别之间转移最优学习率和批量大小的挑战。通过涉及1800个实验和约20万亿个标记的大量预训练运行，他们确定了两种不同的缩放机制。研究结果表明，最优批量大小随训练标记而缩放，而学习率受训练计算的影响，并且对模型大小和数据分配具有鲁棒性。这些新定律将激活率作为一个乘法因子，能够更准确地预测稀疏MoE模型的超参数，即使对于拥有数十亿参数和极低专家激活的模型也是如此。
-
新的 Rollplex 运行时提高了 VLM 训练后效率
研究人员开发了 Rollplex，这是一个新的运行时系统，旨在通过强化学习提高视觉语言模型 (VLM) 训练后的效率。当前方法在不同阶段处理 rollout、参考评分和 actor 训练，这对于 VLM 来说效率低下，因为处理密集视频输入和提示前缀的计算成本很高。Rollplex 通过将前缀计算集成到 rollout 解码阶段来解决此问题，从而在不违反同步 on-policy 语义的情况下实现并发执行。这是通过面向阶段的内存管理和面向…
-
新的方法出现，用于AI模型中高效的视觉Token修剪 · 跟踪6个来源
研究人员正在开发新的方法来优化视觉Transformer (ViTs) 和多模态大语言模型 (MLLMs)，通过修剪计算成本高昂的视觉Token。几篇论文提出了新颖的技术，以在不显著降低性能的情况下减少处理的Token数量。这些方法包括递归ViTs的训练后Token合并、使用专用寄存器的任务自适应修剪、预测中间层注意力以确定Token重要性、面向角色的区域分配以及用于设计修剪策略的AI驱动框架。
-
新的 KV 缓存压缩技术提升大语言模型推理性能 · 跟踪 9 个来源
多篇研究论文探讨了优化大语言模型（LLM）服务中的键值（KV）缓存的新技术，以解决内存和性能瓶颈。这些方法包括量化、剪枝、合并和频率引导压缩，旨在减少内存使用并提高长上下文工作负载的推理速度。研究评估了这些技术在各种基准测试和模型上的表现，强调了压缩率、任务质量和系统性能之间的权衡，并建议根据工作负载选择压缩策略。
-
新的QK-Normed MLA方法在无需完全缓存键的情况下稳定LLM注意力
研究人员开发了QK-Normed MLA，一种无需完全缓存键即可稳定大型语言模型中注意力机制的方法。该技术通过分解RMSNorm并将静态权重吸收到现有投影中，将QK归一化集成到多头潜在注意力（MLA）中。与QK剪枝相比，该方法在保持MLA高效解码的同时，实现了更低的训练损失和更高的下游准确性，并且在Nvidia H800硬件上具有最小的延迟开销。
-
中国军方不顾美国出口管制采购英伟达AI芯片
研究表明，在中国实施出口管制后，中国军方仍持续采购先进的英伟达AI芯片。公开文件显示，解放军的多个分支机构曾多次申请采购A100和H100等芯片，用于核模拟到网络战工具等各种应用。尽管美国旨在阻止军事用途的限制措施已出台，但据报道，这些芯片已通过间接渠道和走私活动获得。
-
ChunkFT框架大幅降低Llama 3微调的内存需求
研究人员开发了ChunkFT，一个旨在提高大型语言模型全参数微调内存效率的新框架。该方法允许在动态模型参数子集上进行梯度计算，从而减少对大量GPU内存的需求。使用Llama 3模型进行的实验证明了显著的内存节省，使得在消费级硬件上进行微调成为可能，并在各种下游任务上取得了与传统全参数微调方法相当或更优的性能。