vLLM 发布了 0.22.1 版本,同时提供了发布候选版本 v0.22.1rc2。这些版本解决了 CUTLASS fmin 初始化与 DeepSeek-V4 模型之间的特定兼容性问题。此修复确保了在使用 vLLM 推理引擎时,DeepSeek-V4 的集成和运行更加顺畅。 AI
影响 确保 DeepSeek-V4 与 vLLM 推理引擎的顺畅运行。
排序理由 这是一个开源推理引擎的软件发布,解决了特定的模型兼容性问题。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →