实体
Block Attention Residuals
Block Attention Residuals
PulseAugur coverage of Block Attention Residuals — every cluster mentioning Block Attention Residuals across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Kimi K3模型通过新的注意力机制突破长上下文和深度瓶颈 · 已追踪2个来源
Moonshot的Kimi K3模型解决了极长上下文窗口和深度神经网络的挑战。为了处理长达一百万个token的上下文窗口，Kimi K3采用了Kimi Delta Attention (KDA)，它将历史信息压缩成固定大小的状态，而不是像标准注意力那样存储单独的键值对。这种方法解决了序列长度增加带来的计算成本不断上升的问题。此外，该模型还引入了Attention Residuals，一种学习每一先前层贡献的机制，防止有用表示在模型深度中丢失。
-
AI路由可解释性：块注意力残差暴露不足以揭示机制
研究人员调查了AI模型中路由机制的可解释性，特别关注块注意力残差（Block AttnRes）。他们的研究使用了两个Qwen3检查点的因果探测，一个是从头开始训练的，将路由作为优化组件；另一个是通过确定性计划模拟路由。研究结果表明，虽然块注意力残差将路由暴露为可检查的张量，但这种暴露本身不足以进行机制性解释。结构化深度路由仅在其作为训练过程的一部分时出现，即使如此，路由摘要也应被视为需要因果干预来验证的假设。