实体
Block Attention Residuals
Block Attention Residuals
PulseAugur coverage of Block Attention Residuals — every cluster mentioning Block Attention Residuals across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Kimi K3 技术报告详述新颖的注意力残差机制
一位名为 Matsuken 的数据科学家发表了一篇文章，解释了 Kimi K3 技术报告中的“注意力残差”（Attention Residuals）和“Kimi Delta Attention”机制。本部分重点介绍“全注意力残差”（Full Attention Residuals），详细说明了它们如何通过学习先前层输出的权重来区别于标准的残差连接。该机制使用一个可学习的参数作为伪查询（pseudo-query），并将先前层的输出作为键…
-
AI路由可解释性：块注意力残差暴露不足以揭示机制
研究人员调查了AI模型中路由机制的可解释性，特别关注块注意力残差（Block AttnRes）。他们的研究使用了两个Qwen3检查点的因果探测，一个是从头开始训练的，将路由作为优化组件；另一个是通过确定性计划模拟路由。研究结果表明，虽然块注意力残差将路由暴露为可检查的张量，但这种暴露本身不足以进行机制性解释。结构化深度路由仅在其作为训练过程的一部分时出现，即使如此，路由摘要也应被视为需要因果干预来验证的假设。