llmlatency.dev

AI API速度基准测试混淆：TTFB vs TTFT及模型影响分析

llmlatency.dev 的一项新分析强调了在AI API性能基准测试中，首次响应字节时间（TTFB）和首次响应令牌时间（TTFT）之间的关键区别。该研究持续测量全球四个地区的约45个推理提供商，揭示了TTFB（衡量网络和提供商前端速度的指标）经常与TTFT混淆，而TTFT包含了模型处理时间。数据显示，模型的大小和类型显著影响TTFT，常常掩盖了API提供商之间的差异，并且区域延迟可能相差高达18.9倍，使得地理位置成为感知速度的关键因素。