研究人员开发了一种用于分解式推理架构的博弈论分析，该架构将预填充和解码阶段分离到不同的 GPU 池中。该研究以 NVIDIA Dynamo 为案例研究，将该系统建模为三个耦合博弈，并识别出 GPU 饱和如何导致性能下降。基于此分析，设计了一个自适应控制器来优化路由和降低延迟，在降低无政府状态代价方面显示出显著的改进。 AI
影响 这项研究为优化 AI 推理基础设施提供了一个框架，有可能实现更高效、低延迟的模型服务。
排序理由 该集群包含一篇学术论文，详细介绍了对 AI 推理架构的新理论分析和经验验证。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.17081v1 Announce Type: cross Abstract: Disaggregated inference architectures physically separate prefill and decode phases onto distinct GPU pools, creating competing "agents" that share a fixed hardware budget. We provide, to our knowledge, the first formal game-theor…
Disaggregated inference architectures separate prefill and decode phases across distinct GPU pools, and a game-theoretic analysis characterizes how GPU saturation affects system performance through regime transitions and payoff structure changes, enabling an adaptive controller t…