实体
tpot
tpot
PulseAugur coverage of tpot — every cluster mentioning tpot across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
LLM 延迟:TTFT vs. TPOT - 平均延迟为何会欺骗用户
一项技术分析强调了 LLM 服务延迟中首次响应时间 (TTFT) 和每输出标记时间 (TPOT) 之间的差异。虽然平均端到端延迟可能低得具有误导性,但 TTFT 在负载下会急剧增加,表明用户感知到的延迟。该分析使用离散事件模拟来演示到达率、提示长度和批处理大小等因素如何不成比例地影响 TTFT 与 TPOT,这表明仅关注平均延迟可能会掩盖关键性能问题。
-
FP8量化权衡:更快的LLM响应,更低的输出一致性
最近对大型语言模型FP8量化的一项基准测试显示,在性能提升和输出一致性之间存在显著的权衡。虽然FP8将每个输出令牌的时间减少了23-26%,但它还将高并发下的自我一致性从97.6%降低到大约75%。这意味着在负载下,FP8量化模型产生的答案更依赖于服务器的繁忙程度,在实施此类优化时应仔细考虑这一因素。
-
SwiftQK 通过高效的张量并行优化大型语言模型训练
研究人员开发了 SwiftQK,一种用于优化大型语言模型(使用张量并行训练)中查询-键归一化(QK-Norm)的新方法。该技术通过仅交换标量归一化统计数据并使计算与数据归约重叠,显著降低了与 QK-Norm 相关的通信开销。与现有方法相比,SwiftQK 在延迟和端到端服务性能方面均取得了实质性改进。