Layer-wise embedding (PLE)

LLM架构通过KV Sharing、Compressed Attention实现长上下文创新

大型语言模型（LLM）架构的最新进展正专注于提高长上下文窗口的效率，解决KV缓存大小和内存带宽等资源限制。例如，Gemma 4采用跨层的KV共享来减小缓存大小，而Laguna XS.2则采用层级特定的注意力预算来更有效地分配计算资源。ZAYA1-8B引入了压缩卷积注意力，以减小缓存大小和注意力FLOPs，DeepSeek V4则结合了改进的超连接（mHC）和压缩注意力机制（CSA/HCA），以实现更稳定高效的长上下文处理。