实体
Lookahead Sparse Attention
Lookahead Sparse Attention
PulseAugur coverage of Lookahead Sparse Attention — every cluster mentioning Lookahead Sparse Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
FlashMemory 通过 LSA 将 DeepSeek-V4 KV 缓存减少至 13.5%
研究人员开发了一种名为前瞻稀疏注意力（Lookahead Sparse Attention, LSA）的新技术，该技术显著减少了大型语言模型在处理长上下文时的内存占用。通过训练一个轻量级的神经内存索引器，LSA 仅预测和加载 KV 缓存的关键部分，将内存使用量减少到完整缓存大小的 13.5%。该方法在 DeepSeek-V4 模型上进行了演示，显示 KV 缓存大小有所减小，准确性略有提高。
-
DeepSeek-V4 通过更智能的内存管理处理 100 万 token 上下文
研究人员开发了一种名为 FlashMemory-DeepSeek-V4 的新方法，该方法利用前瞻稀疏注意力（LSA）来高效处理 AI 模型中极长的上下文窗口。该方法解决了由 KV 缓存引起的显著内存瓶颈，KV 缓存随上下文长度线性增长并消耗大量 GPU 资源。通过智能地预测和仅保留最相关的信息，FlashMemory-DeepSeek-V4 旨在减少内存使用而不影响性能，从而使 AI 系统能够处理更多数据。