TPU v5e
PulseAugur coverage of TPU v5e — every cluster mentioning TPU v5e across labs, papers, and developer communities, ranked by signal.
-
小型开源 LLM 在 Google Cloud TPU v5e 上进行基准测试
一份指南详细介绍了如何使用 vLLM 在单个 Google Cloud TPU v5e 芯片上对小型、开源语言模型进行基准测试。实验使用 Gemma 4 E2B 作为基线,评估了 Qwen3-4B、SmolLM3-3B 和 Granite 3.3 2B 等模型的性能和效率。Qwen3-4B 在输出速率方面表现出与 Gemma 4 E2B 相当的准确性,而 SmolLM3-3B 和 Granite 3.3 2B 在工具调用任务中表现出可比的性能。
-
新的CutBCE方法优化推荐系统训练,减少内存使用并加速计算
研究人员开发了一种名为CutBCE的新颖方法,用于优化大型词汇推荐系统中的二元交叉熵(BCE)损失。该方法解决了在海量商品目录上训练模型时出现的内存限制和内存溢出错误。CutBCE利用JAX和Pallas通过硬件加速,实现精确的融合重构和自定义向量-雅可比积(Vector-Jacobian Product)的片上计算,以避免在大带宽内存(High Bandwidth Memory)中存储大型张量。在TPU v5e/v6e和8芯片TPU…
-
Google's Gemma 4 models repacked for enhanced performance on single TPU v5e
一份技术指南详细介绍了如何重新打包Google的量化感知训练(QAT)Gemma 4模型,以提高在单个Google Cloud TPU v5e芯片上的性能。重新打包后的模型,特别是12B参数版本,与bfloat16版本相比,在吞吐量和准确性方面具有竞争力,其中12B模型成为能装入该芯片的最大模型。这种优化允许在单个TPU v5e上部署各种大小的Gemma 4模型,从E2B到26B,为高效部署这些模型提供了一种实用的方法。
-
在单个Google Cloud TPU v5e芯片上自托管AI代理后端
一份技术指南详细介绍了如何在单个Google Cloud TPU v5e芯片上自托管一个轻量级AI代理后端。该设置使用了Gemma 4-E2B模型和vLLM推理引擎,实现了每秒1,496个输出令牌的吞吐量。作者强调了实际实施步骤,包括配置TPU、通过Google Secret Manager安全管理Hugging Face令牌,以及应对特定区域的配置模型限制。文章提供了性能指标和成本估算,突出了在此单芯片配置上运行多个并发代理的可行性。