Stratified Sparse Attention

分层稀疏注意力提升LLM长上下文推理速度和准确性

研究人员开发了分层稀疏注意力（Stratified Sparse Attention, SSA）框架，旨在提高大型语言模型在长上下文推理中的效率和准确性。SSA结合了高分标记的确定性检索和分数引导采样，以恢复丢失的注意力质量，其性能优于现有的稀疏注意力方法。该方法在各种基准测试和模型上持续提升性能，尤其是在极端稀疏性和非常长的上下文下，实现了显著的准确性提升和解码速度加快。