vLLM 发布了 0.19.2rc0 版本，其中包括对 GLM-ASR 模型中 k_proj 偏差的 bug 修复。此次发布是 vLLM 项目持续开发和维护的一部分，vLLM 是一个用于大型语言模型的高吞吐量、低延迟推理引擎。 AI
影响 对推理引擎的次要更新，可能改善特定模型架构的性能。
排序理由 这是开源推理引擎的一个小版本发布，不是新模型或重大的研究突破。[lever_c_demoted from research: ic=1 ai=0.7]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
