Vicquant

AI 应用延迟：应用层导致首个词延迟超过 2 秒

一位开发者分析了其 AI 应用 Vicquant 的性能，发现应用层本身是导致首次生成 token 时间（TTFT）显著延迟的原因。虽然 LLM 提供商平均耗时 664.4 毫秒，但 Vicquant 的后端额外增加了 2,274.2 毫秒的延迟。这种开销归因于 Web 框架、身份验证、提示组装和流缓冲等因素。在五位用户的并发负载下，TTFT 增加到 13.6 秒，凸显了应用架构对用户体验的影响。