研究人员开发了一种用于专家混合（MoE）模型的新路由机制，称为 kNN-MoE。该方法利用过去路由决策的记忆来动态地将 token 分配给专家，从而提高对分布变化的鲁棒性。该系统利用 k-近邻来查找过去的相似案例，并使用它们的相似性作为混合专家分配的置信度分数。实验表明，kNN-MoE 的性能优于标准的零样本方法，并与监督微调相当。 AI
影响 通过改进 token 路由机制，提高了 MoE 模型的效率和鲁棒性。
排序理由 该集群包含一篇研究论文，详细介绍了专家混合模型中一种新的路由方法。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →