vLLM 项目发布了 0.27.0 版本,其中包括一项更新,为张量处理单元(TPU)禁用了 kimi_vit 的动态 torch.compile。此版本由 Linkun Chen 签发,是从之前的提交中挑选出来的。 AI
影响 此次更新可能会提高 vLLM 在张量处理单元上的用户性能。
排序理由 这是一个基础设施工具的软件发布,而不是前沿模型发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
vLLM 项目发布了 0.27.0 版本,其中包括一项更新,为张量处理单元(TPU)禁用了 kimi_vit 的动态 torch.compile。此版本由 Linkun Chen 签发,是从之前的提交中挑选出来的。 AI
影响 此次更新可能会提高 vLLM 在张量处理单元上的用户性能。
排序理由 这是一个基础设施工具的软件发布,而不是前沿模型发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p>Signed-off-by: Linkun Chen <a href="mailto:[email protected]">[email protected]</a><br /> (cherry picked from commit <a class="commit-link" href="https://github.com/vllm-project/vllm/commit/7f58e8294a19eab37011c21c8da981206ca3849e"><tt>7f58e82</tt></a>)</p>