QuietBox

vLLM 通过新的 TT 插件集成 Tenstorrent 硬件用于 LLM 部署

vLLM 发布了新的 TT 插件，支持使用 Tenstorrent 硬件部署大型语言模型。该插件通过标准的平台插件机制将 Tenstorrent 的加速器集成到 vLLM 框架中。此次集成允许使用兼容 OpenAI 的 API 部署包括纯文本和多模态模型在内的各种模型，而无需更改现有的客户端代码。该插件利用了 Tenstorrent 独特的 Mesh 架构，直接在编译后的 Mesh 程序中表达了相位约束调度器和自定义数据并行拓扑等差异。