Kwindla Hultman Kramer

语音 AI 延迟基准测试显示实时代理的 TTFS 优于 TTFT

MarkTechPost 的一项新基准测试评估了对语音和实时 AI 代理至关重要的推理 API 的延迟。该基准测试强调，虽然首次标记时间 (TTFT) 是一个常用指标，但首次句子时间 (TTFS) 更能反映语音应用中的用户体验，因为文本到语音模型需要完整的子句才能生成音频。分析涵盖了语音堆栈的各个组件，包括 LLM、语音到文本和文本到语音，其中 Baseten 在 TTFT 方面以 0.23 秒领先。