vLLM-TPU

Google 的 Gemma 4 31B 在 TPU 上进行了微调和部署优化

一篇新的研究论文详细介绍了在 Google Cloud TPU 上微调和部署 Google 的 Gemma 4 31B 模型的首个端到端演示。该研究对大型语言模型适配的 TPU 和 GPU 平台进行了实证比较，记录了将 GPU 原生训练配方移植到基于 JAX 的堆栈所需的代码级适配。结果表明，与 GPU 基线相比，TPU 训练速度快 1.61 倍，成本低 2.12 倍，推理吞吐量几乎相同，并且 TPU 的首次令牌时间降低了 2 倍。