实体 kNN-MoE

kNN-MoE

PulseAugur coverage of kNN-MoE — every cluster mentioning kNN-MoE across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

时间线

2026-05-26 research_milestone A new paper introduces kNN-MoE, a retrieval-augmented routing framework for Mixture-of-Experts models. 来源

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_51154 · May 26 · 04:00

kNN-MoE 通过检索增强分配来增强 LLM 路由

研究人员开发了一种用于专家混合（MoE）模型的新路由机制，称为 kNN-MoE。该方法利用过去路由决策的记忆来动态地将 token 分配给专家，从而提高对分布变化的鲁棒性。该系统利用 k-近邻来查找过去的相似案例，并使用它们的相似性作为混合专家分配的置信度分数。实验表明，kNN-MoE 的性能优于标准的零样本方法，并与监督微调相当。