NR-SAE

新的 NR-SAE 方法通过利用现有路由器知识来增强 MoE 模型

一篇新研究论文提出了一种名为 NR-SAE 的方法，该方法通过允许每个专家利用一小部分预先选择的参数字典来增强混合专家（MoE）模型。这种方法在 Gemma 4 26B-A4B 模型上进行了测试，与对照模型相比，在解释路由器加权专家输出方面表现出更好的性能。研究表明，模型的路由器已经拥有了重要的知识，从而减少了从头开始学习这些信息的字典的需要。