PulseAugur
实时 09:44:05

vLLM 发布 0.25.1 版本,修复 RMSNorm quant fusions 错误

vLLM 发布了 0.25.1 版本,这是一个 bug修复更新,解决了 mixed-dtype allreduce RMSNorm quant fusions 的问题。该版本包括特定的代码更改,并由 Hugo Centeno Jr. 签署。此次更新侧重于 vLLM 项目的内部优化和稳定性。 AI

影响 vLLM 用户稳定性有轻微提升,解决了 quant fusions 中的特定技术问题。

排序理由 这是一个开源推理引擎的次要 bug修复版本,不是前沿模型发布或重大的行业事件。

在 vLLM — Releases 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

vLLM 发布 0.25.1 版本,修复 RMSNorm quant fusions 错误

报道来源 [1]

  1. vLLM — Releases TIER_1 English(EN) · hugo-cen ·

    v0.25.1: [Bugfix] Guard mixed-dtype allreduce RMSNorm quant fusions (#48330)

    <p>Signed-off-by: hcenteno <a href="mailto:[email protected]">[email protected]</a><br /> (cherry picked from commit <a class="commit-link" href="https://github.com/vllm-project/vllm/commit/5f8e73cb8b8d41f7a2a5168cddf5b772888fa991"><tt>5f8e73c</tt></…