TTFT

SemiAnalysis 认为 TTFT 是一个被高估的人工智能推理指标

SemiAnalysis 认为，首次标记时间（TTFT）是人工智能推理中一个被高估的指标，尤其是在代理编码任务中，它可能显著影响端到端延迟。然而，他们指出，对于许多任务，特别是较长的生成任务，TTFT 与整体吞吐量和标记生成速度相比影响甚微。虽然更快的 TTFT 可以提高交互性，但用户通常更看重响应质量而非原始速度，这表明对于某些应用来说，延迟和成本之间的权衡可能是可以接受的。