实体 Pulsar Attention

Pulsar Attention

PulseAugur coverage of Pulsar Attention — every cluster mentioning Pulsar Attention across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_160715 · Jul 24 · 04:00

Pulsar Attention 为长序列提供高效的 LLM 推理

研究人员推出了一种名为 Pulsar Attention 的新方法，旨在提高大型语言模型在长序列上推理的效率。与使用静态前缀的 Star Attention 等之前的分块方法不同，Pulsar Attention 采用了内容感知的前缀和紧凑的跨块摘要。与 Star Attention 相比，这种方法将计算成本降低了高达 3.3 倍，同时保持了相同的 KV 缓存占用空间。使用 Llama-3.1-8B 在 RULER 和 BABILon…