vLLM 发布了 0.25.1 版本,这是一个 bug修复更新,解决了 mixed-dtype allreduce RMSNorm quant fusions 的问题。该版本包括特定的代码更改,并由 Hugo Centeno Jr. 签署。此次更新侧重于 vLLM 项目的内部优化和稳定性。 AI
影响 vLLM 用户稳定性有轻微提升,解决了 quant fusions 中的特定技术问题。
排序理由 这是一个开源推理引擎的次要 bug修复版本,不是前沿模型发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →