MoEntwine

新的HCRMap框架优化了3.5D片上系统中MoE大语言模型的推理

一篇新研究论文介绍了一种名为HCRMap的框架，该框架旨在优化3.5D片上系统上混合专家（MoE）大语言模型的推理。HCRMap通过动态管理不同内存层级的专家副本，解决了专家热度倾斜问题（即某些专家接收到的token数量不成比例）。这种方法旨在缓解通信、内存带宽和执行队列中的瓶颈。实验表明，与Hydra++、MoEntwine和PIMoE等现有方法相比，HCRMap显著降低了端到端延迟。