Barroso

LLM 延迟 SLO 掩盖用户痛点；应跟踪 p99 和会话指标

一位开发者分享了仅依赖 LLM 应用的 p50 延迟服务水平目标 (SLO) 的不足之处。作者解释说，虽然 p50（中位数）延迟可能看起来可以接受，但它掩盖了部分用户遇到的严重性能问题，导致用户流失增加。文章提倡跟踪 p95 和 p99 等更高百分位数，按路由分析延迟，并监控会话级性能，而不是仅仅关注单个请求，以准确反映用户体验。