Block Attention Residuals

AI路由可解释性：块注意力残差暴露不足以揭示机制

研究人员调查了AI模型中路由机制的可解释性，特别关注块注意力残差（Block AttnRes）。他们的研究使用了两个Qwen3检查点的因果探测，一个是从头开始训练的，将路由作为优化组件；另一个是通过确定性计划模拟路由。研究结果表明，虽然块注意力残差将路由暴露为可检查的张量，但这种暴露本身不足以进行机制性解释。结构化深度路由仅在其作为训练过程的一部分时出现，即使如此，路由摘要也应被视为需要因果干预来验证的假设。