Pulsar Attention 为长序列提供高效的 LLM 推理

研究人员推出了一种名为 Pulsar Attention 的新方法，旨在提高大型语言模型在长序列上推理的效率。与使用静态前缀的 Star Attention 等之前的分块方法不同，Pulsar Attention 采用了内容感知的前缀和紧凑的跨块摘要。与 Star Attention 相比，这种方法将计算成本降低了高达 3.3 倍，同时保持了相同的 KV 缓存占用空间。使用 Llama-3.1-8B 在 RULER 和 BABILong 数据集上进行的实验表明，在长达 128K 个 token 的序列上，Pulsar Attention 的性能优于 Star Attention 和密集注意力。 AI

影响 Pulsar Attention 可以显著降低 LLM 处理长文本序列的计算成本，从而实现更高效的应用。

排序理由 该集群包含一篇详细介绍 LLM 推理新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• BABILong
• DagsHub
• Gotit.pub
• Hugging Face
• Llama-3.1-8B
• Pulsar Attention
• RULER
• ScienceCast
• Star Attention

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →