对 SGLang 在 T4 GPU 上冷启动性能的最新分析显示，在第一个用户请求得到服务之前，“就绪”状态所需的时间仅占总计费时间的约三分之二。该实验于 2026 年 10 月 5 日进行，结果表明，虽然服务器报告大约在 387 秒内就绪，但第一个聊天请求又花费了 176 秒才完成。这表明，对于自动扩缩容到零的平台而言，在用户首次收到响应之前的计费时间，远长于服务器启动时间。作者建议测量三个不同的阶段：计费开始到健康检查，计费开始到首次请求完成，以及最后一个请求之后的空闲尾部时间，以准确地为计费时间定价。 AI
影响 凸显了 LLM 推理服务器冷启动的显著开销，影响了自动扩缩容到零平台的成本和用户体验。
排序理由 对 LLM 推理服务器性能和冷启动时间的分析。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
