vLLM 发布了 0.20.2rc0 版本，引入了新的 shutdown() 方法。此次更新是 vLLM 项目持续开发的一部分，该项目专注于高效的 LLM 推理。 AI
影响 对一个开源 LLM 推理库的次要更新。
排序理由 发布了一个新的开源推理引擎版本。 [lever_c_demoted from research: ic=1 ai=0.7]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
vLLM 发布 v0.20.2rc0 并新增 shutdown 方法
报道来源 [1]
-
v0.20.2rc0: [MRV2] Add shutdown() method (#41297)
<p>Signed-off-by: Woosuk Kwon <a href="mailto:[email protected]">[email protected]</a></p>