Nvidia H800
PulseAugur coverage of Nvidia H800 — every cluster mentioning Nvidia H800 across labs, papers, and developer communities, ranked by signal.
-
新的 KV 缓存压缩技术提升大语言模型推理性能 · 跟踪 9 个来源
多篇研究论文探讨了优化大语言模型（LLM）服务中的键值（KV）缓存的新技术，以解决内存和性能瓶颈。这些方法包括量化、剪枝、合并和频率引导压缩，旨在减少内存使用并提高长上下文工作负载的推理速度。研究评估了这些技术在各种基准测试和模型上的表现，强调了压缩率、任务质量和系统性能之间的权衡，并建议根据工作负载选择压缩策略。
-
新的QK-Normed MLA方法在无需完全缓存键的情况下稳定LLM注意力
研究人员开发了QK-Normed MLA，一种无需完全缓存键即可稳定大型语言模型中注意力机制的方法。该技术通过分解RMSNorm并将静态权重吸收到现有投影中，将QK归一化集成到多头潜在注意力（MLA）中。与QK剪枝相比，该方法在保持MLA高效解码的同时，实现了更低的训练损失和更高的下游准确性，并且在Nvidia H800硬件上具有最小的延迟开销。
-
中国军方不顾美国出口管制采购英伟达AI芯片
研究表明，在中国实施出口管制后，中国军方仍持续采购先进的英伟达AI芯片。公开文件显示，解放军的多个分支机构曾多次申请采购A100和H100等芯片，用于核模拟到网络战工具等各种应用。尽管美国旨在阻止军事用途的限制措施已出台，但据报道，这些芯片已通过间接渠道和走私活动获得。
-
ChunkFT框架大幅降低Llama 3微调的内存需求
研究人员开发了ChunkFT，一个旨在提高大型语言模型全参数微调内存效率的新框架。该方法允许在动态模型参数子集上进行梯度计算，从而减少对大量GPU内存的需求。使用Llama 3模型进行的实验证明了显著的内存节省，使得在消费级硬件上进行微调成为可能，并在各种下游任务上取得了与传统全参数微调方法相当或更优的性能。