vLLM 发布了 0.22.1rc2 版本,其中包含一个针对 CUTLASS fmin 兼容性问题的修复。此更新专门解决了使用 DeepSeek-V4 模型时遇到的初始化问题。发行说明表明他们认真对待用户反馈,并在其文档中提供了进一步的说明。 AI
影响 确保在 vLLM 框架内更顺畅地部署和使用 DeepSeek-V4 模型。
排序理由 这是一个开源推理引擎的软件发布,解决了与特定模型的兼容性问题。 [lever_c_demoted from research: ic=1 ai=0.7]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →