vLLM 发布了 0.32.0rc3 版本,其中包括对 SM 90 硬件上 Mamba2 chunk scan kernel 的一个错误修复。此版本解决了可能导致 NaN 输出的问题。该修复由用户 Vadim Gimpelson 和 vadiklyutiy 贡献,并由 Claude 共同提交。 AI
影响 vLLM 的 Mamba2 kernel 的次要错误修复提高了在特定硬件上的稳定性。
排序理由 这是一个开源推理库的次要错误修复版本,并非前沿模型发布或重大行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →