Lookahead Sparse Attention

DeepSeek-V4 通过更智能的内存管理处理 100 万 token 上下文

研究人员开发了一种名为 FlashMemory-DeepSeek-V4 的新方法，该方法利用前瞻稀疏注意力（LSA）来高效处理 AI 模型中极长的上下文窗口。该方法解决了由 KV 缓存引起的显著内存瓶颈，KV 缓存随上下文长度线性增长并消耗大量 GPU 资源。通过智能地预测和仅保留最相关的信息，FlashMemory-DeepSeek-V4 旨在减少内存使用而不影响性能，从而使 AI 系统能够处理更多数据。