compressed attention

大型语言模型架构创新以实现长上下文效率

Sebastian Raschka 的分析强调了开源大型语言模型中旨在提高长上下文效率的最新架构创新。关键进展包括 Google Gemma 4 模型中的 KV 共享和每层嵌入，Laguna XS.2 中的逐层注意力预算，以及 ZAYA1-8B 中的压缩卷积注意力。DeepSeek V4 还集成了 mHC 和压缩注意力，以应对模型处理更长上下文进行推理和代理工作流时日益增长的 KV 缓存大小和内存流量限制。