用于自托管大型语言模型的开源库 vLLM 在 0.33.0 版本中引入了准入控制功能，以防止服务器被请求淹没。以前，vLLM 会接受所有传入的请求，尤其是在高负载下，这可能导致响应时间显著延迟。新的 `max_num_queued_reqs` 和 `max_num_queued_tokens` 参数允许用户设置可以排队的请求或令牌数量的限制，从而使服务器能够对超出这些阈值的请求返回 HTTP 503 错误。 AI
影响 vLLM 的此次更新通过防止过载，提高了自托管 LLM 部署的稳定性和性能。
排序理由 该条目讨论了用于自托管 LLM 的开源库中的一项新功能，这是一项软件工具改进。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
