Least-Stale

Apple 研究人员发布 SpecMD 以加速 MoE 模型推理

Apple 的机器学习研究团队发表了一篇论文，详细介绍了 SpecMD，这是一个用于评估专家混合（MoE）模型缓存策略的新框架。他们的实验表明，由于专家访问模式不一致，像最近最少使用（LRU）这样的传统缓存假设对 MoE 模型无效。为了解决这个问题，他们提出了一种名为“最不陈旧”（Least-Stale）的新型驱逐策略，该策略利用可预测的专家访问来显著减少缓存未命中并提高推理速度。