一种名为 Disaggregated Prefill-Decode 的新技术，利用 NVIDIA 的 NIXL 和 LMCache，显著提高了 LLM 推理性能，尤其是在长上下文任务中。该方法将计算密集型的 prefill 阶段与内存带宽受限的 decode 阶段分离到不同的 GPU 池中。通过使用 NIXL 和 GPUDirect RDMA 在高速网络上进行通信，它能够直接在 GPU 之间异步流式传输 KV 缓存数据，从而大大降低延迟并提高吞吐量。 AI
影响 将长上下文 LLM 任务的 token 间延迟降低 74%，并将 GPU 吞吐量提高 2.4 倍。
排序理由 对 LLM 推理基础设施的优化技术进行技术深度解析。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
