TPU Ironwood

Google Cloud 在 TPU 上启用 vLLM 以支持 Qwen3 长上下文嵌入

Google Cloud 为优化嵌入推理的张量处理单元（TPU）引入了原生的 vLLM 支持，旨在用于生产检索系统。此次更新侧重于增强 Qwen3-Embedding-8B 和 Qwen3-VL-Embedding-8B 等模型的长上下文和多模态嵌入，解决了内存压力和池化正确性等挑战。Google 的工程努力包括优化张量对齐、编译预热以及混合 StepPool 设计，以确保数学正确性和高性能，其中一种配置实现了超过 83,000 to…