Layer 14

Qwen3.5-35B-A3B 路由器在自我反思时显示特定专家

一位研究人员记录了对 Qwen3.5-35B-A3B 模型的实验，重点关注当模型生成第一人称自我审视文本时，其混合专家（MoE）路由器的行为。研究结果表明，当模型进入这种特定的讨论模式时，第 14 层的一个特定专家 E114 会被持续招募，这使其区别于技术性或第三人称的输出。这项工作旨在探讨 MoE 路由器是否能揭示输出模式的内部关联，而不仅仅是输入特征，并强调这并不意味着模型具有意识。