实体
KV sharing
KV sharing
PulseAugur coverage of KV sharing — every cluster mentioning KV sharing across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLM架构通过KV Sharing、Compressed Attention实现长上下文创新
大型语言模型（LLM）架构的最新进展正专注于提高长上下文窗口的效率，解决KV缓存大小和内存带宽等资源限制。例如，Gemma 4采用跨层的KV共享来减小缓存大小，而Laguna XS.2则采用层级特定的注意力预算来更有效地分配计算资源。ZAYA1-8B引入了压缩卷积注意力，以减小缓存大小和注意力FLOPs，DeepSeek V4则结合了改进的超连接（mHC）和压缩注意力机制（CSA/HCA），以实现更稳定高效的长上下文处理。
-
大型语言模型架构创新以实现长上下文效率
Sebastian Raschka 的分析强调了开源大型语言模型中旨在提高长上下文效率的最新架构创新。关键进展包括 Google Gemma 4 模型中的 KV 共享和每层嵌入，Laguna XS.2 中的逐层注意力预算，以及 ZAYA1-8B 中的压缩卷积注意力。DeepSeek V4 还集成了 mHC 和压缩注意力，以应对模型处理更长上下文进行推理和代理工作流时日益增长的 KV 缓存大小和内存流量限制。