vLLM 发布了 0.34.0 版本,其中移除了 Model Runner V1。此次更新还将默认块大小调整为 64,GPU 内存利用率调整为 1.0。此外,新版本增加了对 Mistral Large 4 和其他几个模型 的支持。 AI
影响 提高了 LLM 推理的效率并扩展了模型兼容性。
排序理由 这是用于促进 LLM 推理的工具的软件发布,而不是前沿模型发布。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →