PulseAugur
实时 12:53:56
English(EN) v0.27.0: [Kimi][MM] disable kimi_vit's dynamic torch.compile for TPU (#51196)

vLLM 发布 0.27.0 版本,优化 TPU 支持

vLLM 项目发布了 0.27.0 版本,其中包括一项更新,为张量处理单元(TPU)禁用了 kimi_vit 的动态 torch.compile。此版本由 Linkun Chen 签发,是从之前的提交中挑选出来的。 AI

影响 此次更新可能会提高 vLLM 在张量处理单元上的用户性能。

排序理由 这是一个基础设施工具的软件发布,而不是前沿模型发布或重要的行业事件。

在 vLLM — Releases 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

vLLM 发布 0.27.0 版本,优化 TPU 支持

报道来源 [1]

  1. vLLM — Releases TIER_1 English(EN) · lk-chen ·

    v0.27.0: [Kimi][MM] 禁用 kimi_vit 的动态 torch.compile 以支持 TPU (#51196)

    <p>Signed-off-by: Linkun Chen <a href="mailto:[email protected]">[email protected]</a><br /> (cherry picked from commit <a class="commit-link" href="https://github.com/vllm-project/vllm/commit/7f58e8294a19eab37011c21c8da981206ca3849e"><tt>7f58e82</tt></a>)</p>