Union8

QUILT 和 PageWeaver 新研究优化 LLM 的稀疏注意力

两篇新研究论文 QUILT 和 PageWeaver 提出了优化大型语言模型中稀疏注意力机制的新颖方法。QUILT 引入了一种工作负载感知的执行策略，该策略在相邻查询之间重用共享 KV 条目，从而减少内存流量和计算量，显著降低了内核延迟和首次令牌生成时间。PageWeaver 专注于 KV 引导的查询联合，以在 GPU 上高效地组装查询组，与现有方法相比实现了显著的加速并提高了预填充吞吐量。