Kimi K3 Technical Report

Kimi K3模型通过新的注意力机制突破长上下文和深度瓶颈 · 已追踪2个来源

Moonshot的Kimi K3模型解决了极长上下文窗口和深度神经网络的挑战。为了处理长达一百万个token的上下文窗口，Kimi K3采用了Kimi Delta Attention (KDA)，它将历史信息压缩成固定大小的状态，而不是像标准注意力那样存储单独的键值对。这种方法解决了序列长度增加带来的计算成本不断上升的问题。此外，该模型还引入了Attention Residuals，一种学习每一先前层贡献的机制，防止有用表示在模型深度中丢失。