Google 优化了 Qwen 3.5-397B 混合专家（MoE）模型，使其能在其 Ironwood 张量处理单元（TPU）上运行。此优化利用 JAX 和 Pallas 实现，使 prefill 工作负载的速度提升了 4.7 倍。该开发解决了硬件分片限制的挑战，从而能更高效地部署大型模型。 AI
影响 展示了在专用硬件上运行的大型 MoE 模型显著的性能提升，可能降低推理成本并提高部署效率。
排序理由 在专用硬件上优化特定大型语言模型，并提供详细的技术指标。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
