TPU Ironwood

Google Cloud 在 TPU 上启用 vLLM 以进行长上下文嵌入检索

Google Cloud 现已为张量处理单元 (TPU) 引入了原生的 vLLM 支持，专门用于嵌入推理，旨在增强生产检索系统。此项开发专注于优化 Qwen3-Embedding-8B 和 Qwen3-VL-Embedding-8B 等模型的长上下文嵌入，处理大量的文本和多模态输入。该实现解决了 TPU 张量对齐、长序列的内存压力以及确保不同硬件配置下嵌入的数学正确性等挑战，并在测试中实现了高令牌吞吐量。