一种新的负载测试协议强调测量“有效吞吐量”（在服务水平目标（SLO）内完成且输出有效的请求），而不是原始吞吐量。这种方法在 dev.to 文章中有详细介绍，旨在为真实流量模式下的 LLM 生产能力提供更现实的评估。它区分了首个 token 的延迟和生成时间，并考虑了重试、检索和安全检查，以确定有用的完成率和成本。 AI
影响 提供了一个在真实流量条件下评估 LLM 服务性能的框架，有助于容量规划和供应商选择。
排序理由 文章提出了一种测试 LLM 生产能力的新方法，借鉴了现有论文和指南。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
<h1> LLM Production Capacity: A SLO-First Load Test for Real Traffic </h1> <p>A production LLM service is ready for load only when it can serve the <strong>right requests within an agreed latency and quality boundary at an acceptable cost</strong>. Peak tokens per second, a singl…