3.35 TB/s

Llama 3.1 70B的提示词处理成本是生成token时间的914倍

一项详细分析显示，在H100 SXM GPU上处理Llama 3.1 70B的4K token提示词，其资源消耗比普遍认为的要高得多，成本约相当于914个生成token。这种高成本源于预填充阶段，该阶段受计算能力限制，并且与上下文长度呈二次方增长，而解码阶段则受内存限制。当处理一个大型提示词时，它会暂停服务节点上所有其他活动对话，导致用户出现明显延迟。虽然分块预填充可以减少最大停顿时间，但并不会降低总计算成本。