一位 Reddit 用户正在询问混合专家（MoE）模型中 KV 缓存的扩展行为。他们了解到 MoE 模型与总参数量相比，使用的计算量和内存量较少，但不确定 KV 缓存是与活动参数还是模型总参数一起扩展。 AI
影响 理解 KV 缓存的扩展对于优化 MoE 模型的推理性能和内存使用至关重要。
排序理由 用户关于模型架构组件技术扩展性的问题。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
用户询问 MoE 模型 KV 缓存的扩展方式
报道来源 [1]
-
How does the Kv cache of MoEs scale?
<!-- SC_OFF --><div class="md"><p>I don't really understand how the Kv cache for MoE models scale. </p> <p>So like, if I take an example of a 35ba3b MoE, I know it uses the computation of a 3b+a bit more for routing, and the ram of 35b.</p> <p>But what about the kv cache? Does th…