Shriniwas Ramesh Suram

研究揭示大型混合专家模型在消费级GPU上的内存带宽限制

一项新研究调查了在消费级硬件上部署大型混合专家（MoE）模型所面临的挑战，特别关注内存带宽瓶颈。研究人员使用Qwen3-235B和Qwen3-30B模型量化了这一问题，发现解码速度受到来自SSD的专家数据缓慢传输的严重限制。尽管训练路由器以提高可缓存性的尝试显示出减少缓存未命中率的潜力，但未能达到预注册的质量门槛，表明缓存减少与模型困惑度之间存在紧密耦合。该研究还探讨了无需训练的感知缓存重路由和领域预加载作为补充策略。