一篇新的研究论文详细介绍了在 Google Cloud TPU 上微调和部署 Google 的 Gemma 4 31B 模型的首个端到端演示。该研究对大型语言模型适配的 TPU 和 GPU 平台进行了实证比较，记录了将 GPU 原生训练配方移植到基于 JAX 的堆栈所需的代码级适配。结果表明，与 GPU 基线相比，TPU 训练速度快 1.61 倍，成本低 2.12 倍，推理吞吐量几乎相同，并且 TPU 的首次令牌时间降低了 2 倍。 AI
影响 提供了一个在 TPU 上部署 Gemma 4 的可复现配方，有可能降低 LLM 适配的成本并提高效率。
排序理由 该集群包含一篇研究论文，详细介绍了在不同硬件平台上进行模型微调和部署的技术比较。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.25645v1 Announce Type: cross Abstract: We present the first end-to-end demonstration of fine-tuning and serving Google's Gemma 4 31B model on TPU hardware, providing an empirical comparison of TPU and GPU platforms for large language model adaptation. Using LoRA on a G…
We present the first end-to-end demonstration of fine-tuning and serving Google's Gemma 4 31B model on TPU hardware, providing an empirical comparison of TPU and GPU platforms for large language model adaptation. Using LoRA on a Google TPU v5p-8 for training and TPU v6e-8 (Trilli…