AMD Instinct MI308X

KV Cache预取大幅降低LLM推理延迟

一种新的KV Cache数据预取策略已被开发出来，显著降低了大模型推理期间的存储延迟。该方法在明心FX100上使用480B模型进行了测试，推理吞吐量提高了40%，首个token的生成时间缩短了32%。该策略涉及在计算单元需要KV Cache块之前，将其从存储加载到更快的内存层级，这是随着上下文窗口扩展并超出GPU高带宽内存（HBM）容量而进行的关键优化。与KV Cache数据未命中时重新计算相比，这种方法提供了8.6倍到20倍的显著加速。