MoEZip

MoEZip：稀疏 MoE LLM 的新型 KV 缓存压缩技术

研究人员开发了 MoEZip，一种专为稀疏专家混合（MoE）语言模型设计的新型 KV 缓存压缩技术。与可能通过改变专家选择而降低 MoE 性能的现有方法不同，MoEZip 采用了路由感知评分。该方法使用基于路由分布的 Fisher 信息矩阵的度量来估计专家选择对 KV 缓存逐出的敏感性。实验表明，在激进的压缩级别下，MoEZip 在 LongBench 和 RULER 等基准测试中的表现显著优于以前的最先进方法。