Stream-CQSA

新框架为LLM注意力实现精确内存溢出恢复

研究人员开发了Stream-CQSA，一个旨在克服长上下文大型语言模型中内存溢出（OOM）限制的新颖框架。该方法利用CQS分解将注意力调用递归地划分为更小、可管理的子序列任务。通过独立执行这些任务然后重新组合结果，即使原始调用会超出设备内存，Stream-CQSA也能恢复完整的注意力输出。虽然与FlashAttention-2等优化内核相比，它会产生运行时开销，但它成功地防止了OOM故障，从而能够处理更长的序列。