English(EN) Serving LLMs on Tenstorrent Hardware: Inside the vLLM TT Plugin https://vllm.ai/blog/2026-09-07-vllm-tt-plugin # AI # Hardware # OpenSource

vLLM 通过新的 TT 插件集成 Tenstorrent 硬件用于 LLM 部署

作者 PulseAugur 编辑部 · [2 个来源] · 2026-09-09 08:18

vLLM 发布了新的 TT 插件，支持使用 Tenstorrent 硬件部署大型语言模型。该插件通过标准的平台插件机制将 Tenstorrent 的加速器集成到 vLLM 框架中。此次集成允许使用兼容 OpenAI 的 API 部署包括纯文本和多模态模型在内的各种模型，而无需更改现有的客户端代码。该插件利用了 Tenstorrent 独特的 Mesh 架构，直接在编译后的 Mesh 程序中表达了相位约束调度器和自定义数据并行拓扑等差异。 AI

影响为 LLM 部署提供了更广泛的硬件选择，可能提高成本效益和性能。

排序理由该条目描述了一个软件插件，它使现有的 LLM 部署基础设施 (vLLM) 能够利用特定硬件 (Tenstorrent)，这属于“工具”类别。

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

vLLM 通过新的 TT 插件集成 Tenstorrent 硬件用于 LLM 部署

本文如何被排名

Signal score: 11 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目描述了一个软件插件，它使现有的 LLM 部署基础设施 (vLLM) 能够利用特定硬件 (Tenstorrent)，这属于“工具”类别。
Source corroboration: 2 independent sources; Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics: infra, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [2]

Lobsters — AI tag TIER_1 English(EN) · vllm.ai via sanxiyn · 2026-09-09 08:18

在 Tenstorrent 硬件上部署 LLM：vLLM TT 插件内部解析

<p><a href="https://lobste.rs/s/twvlv6/serving_llms_on_tenstorrent_hardware">Comments</a></p>
Mastodon — mastodon.social TIER_1 English(EN) · [email protected] · 2026-09-09 08:18

在 Tenstorrent 硬件上部署 LLM：vLLM TT 插件深度解析 https://vllm.ai/blog/2026-09-07-vllm-tt-plugin # AI # Hardware # OpenSource

Serving LLMs on Tenstorrent Hardware: Inside the vLLM TT Plugin https://vllm.ai/blog/2026-09-07-vllm-tt-plugin # AI # Hardware # OpenSource

链接 vllm.ai/…/2026-09-07-vllm-tt-plugin

本文如何被排名

报道来源 [2]

在 Tenstorrent 硬件上部署 LLM：vLLM TT 插件内部解析

在 Tenstorrent 硬件上部署 LLM：vLLM TT 插件深度解析 https://vllm.ai/blog/2026-09-07-vllm-tt-plugin # AI # Hardware # OpenSource

相关实体

相关话题