作者成功地将 Gemma 4 26B 参数模型优化，以便在 AWS Inferentia2 实例上进行部署，从而显著降低了成本。最初的目标是将模型量化为 FP4 以适应较小的 inf2.xlarge 实例，但作者在使用现有 SDK 时遇到了瓶颈。突破来自于意识到仅将模型的专家量化为 INT8 是不够的，剩余的内存瓶颈在于其他权重，特别是绑定的 lm_head。通过将 lm_head 量化为 INT8 并对其进行分片，模型最终成功部署在目标实例上，成本降低了约 8.6 倍。 AI
影响 使得在云基础设施上部署大型语言模型更具成本效益。
排序理由 文章详细介绍了在特定云硬件上优化和部署现有 LLM 的技术过程，这属于工具和基础设施范畴，而非新的模型发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<div class="medium-feed-item"><p class="medium-feed-image"><a href="https://xbill999.medium.com/gemma4-devops-in-action-42519c7cb404?source=rss------mlops-5"><img src="https://cdn-images-1.medium.com/max/1200/0*ItmdC489zyG7W09t.png" width="1200" /></a></p><p class="medium-feed-sn…
<blockquote> <p>In the last entry I got Gemma-4's 128-expert MoE running on an <code>inf2.24xlarge</code> and signed off with a<br /> cliffhanger: fitting it on a 2-core box "needs fp4 — a separate expedition." This is that expedition.<br /> It ended nowhere near where I thought …