一篇新研究论文介绍了一个拓扑感知数据移动系统，旨在优化解耦LLM推理。该系统通过发现互连层级和选择最优传输方法来解决在独立GPU池之间传输KV缓存的挑战。它采用了流水线式逐层传输、面向混合专家模型的NVLink域感知放置以及CXL 3.0内存扩展器，以显著降低传输延迟。 AI
影响 这项研究通过优化跨解耦GPU资源的移动，可能带来更高效和可扩展的LLM推理部署。
排序理由 该集群包含一篇学术论文，详细介绍了一种解决AI基础设施特定问题的新技术方法。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2607.28633v1 Announce Type: cross Abstract: Disaggregated LLM inference creates a datacenter networking problem that no existing system solves correctly. When prefill and decode run on separate GPU pools, the KV cache must be transferred between them. For a 70B model this i…