实体
Lightning Indexer
Lightning Indexer
PulseAugur coverage of Lightning Indexer — every cluster mentioning Lightning Indexer across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法应对大语言模型长上下文效率挑战 · 跟踪 3 个来源
研究人员正在开发新方法来提高大语言模型长上下文推理的效率。一种名为 LISA 的方法将线性注意力与稀疏注意力机制相结合，将计算复杂度从 O(n^2) 降低到 O(nM)，在某些模型上实现了 50% 的推理速度提升。另一种方法 ELSAA 使用稀疏和低秩分支来近似注意力分数，从而能够在不具体化完整注意力矩阵的情况下进行更长上下文的训练。第三篇论文 Lil 探讨了稀疏注意力可能由于序列更长而导致复杂性增加的“少即是少”问题，并提出了一种提…
-
DeepSeek V3.2 模型引入稀疏注意力以改进长上下文处理
DeepSeek 推出了其 V3.2 模型，集成了 DeepSeek Sparse Attention (DSA)。这项创新将注意力复杂度从 O(L²) 降低到 O(Lk)，显著提高了长上下文处理的效率。该模型的架构还利用了 Lightning Indexer 以获得进一步的性能提升。