实体 LeapQuant

LeapQuant

PulseAugur coverage of LeapQuant — every cluster mentioning LeapQuant across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_271021 · Sep 30 · 04:00

新研究提高了线性注意力的效率和性能

研究人员正在开发新方法来提高大型语言模型中线性注意力机制的效率和性能。一种方法，Switching Linear Attention (SwiLA)，在保持固定大小的循环状态的同时增强了表示能力，与标准 softmax 注意力相比，取得了有竞争力的结果。另一项开发，LeapQuant，专注于线性注意力的精确循环状态量化，在推理中实现了显著的加速，且质量损失很小。此外，对线性注意力的理论分析表明，其循环状态通常具有低秩结构，这表明通过基…