Neural Memory Indexer

FlashMemory 通过 LSA 将 DeepSeek-V4 KV 缓存减少至 13.5%

研究人员开发了一种名为前瞻稀疏注意力（Lookahead Sparse Attention, LSA）的新技术，该技术显著减少了大型语言模型在处理长上下文时的内存占用。通过训练一个轻量级的神经内存索引器，LSA 仅预测和加载 KV 缓存的关键部分，将内存使用量减少到完整缓存大小的 13.5%。该方法在 DeepSeek-V4 模型上进行了演示，显示 KV 缓存大小有所减小，准确性略有提高。