128

MoE 专家缓存评估方法被发现具有误导性

研究人员发现了用于混合专家（MoE）模型的 trace-driven 评估方法中的关键缺陷，这些缺陷可能导致关于专家缓存策略的结论具有误导性。研究强调了回放语义、工作负载污染和运行模式如何显著改变性能指标并颠倒策略排名。即使经过修正的评估，与离线最优值之间仍然存在显著差距，这主要归因于对未来专家使用情况的预测，表明当前轻量级的因果机制并未完全恢复这些潜在收益。