front-end web code

稀疏自编码器揭示 MoE 专家细粒度专业化

研究人员开发了一种使用稀疏自编码器 (SAE) 的新方法来分析混合专家 (MoE) 模型（特别是 Qwen3-30B-A3B）的内部工作原理。这种方法揭示了 MoE 层内的单个专家表现出高度专业化的功能，超越了粗略的领域标签或简单的选择频率。研究发现，存在专门处理 Java 与前端 Web 代码、几何与算术等任务的专家，这表明存在细粒度的劳动分工。