研究人员开发了 Nemotron-Labs-3-Puzzle-75B-A9B，这是 Nemotron-3-Super 大型语言模型的压缩版本。该优化变体专为高效的交互式部署而设计，在 8xB200 节点上实现的服务器吞吐量是其父模型的两倍。它还显著增强了长上下文能力，在单个 H100 GPU 上将 100 万 token 的并发请求从一个增加到八个。压缩过程涉及一个多阶段管道，结合了迭代式 Puzzle 压缩、知识蒸馏、强化学习、量化和多 Token 预测头，共同优化了 MoE 修剪和 Mamba 修剪。 AI
影响 这种压缩模型可以实现更高效、更具成本效益的大型语言模型在交互式和长上下文应用中的部署。
排序理由 该集群描述了一篇关于压缩版大语言模型及其性能特征的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
