实体 BellowsKV-Quant

BellowsKV-Quant

PulseAugur coverage of BellowsKV-Quant — every cluster mentioning BellowsKV-Quant across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_327231 · Oct 28 · 04:00

BellowsKV 方法在精度损失极小的情况下大幅削减了 LLM KV 缓存大小

研究人员开发了 BellowsKV，一种压缩大型语言模型中键值（KV）缓存的新颖方法。KV 缓存是 GPU 推理中的一个主要瓶颈。与先前在单层内量化或驱逐标记的方法不同，BellowsKV 将相邻层的隐藏状态映射到一个共享的潜在表示。这种方法允许各层通过从共享潜在表示中进行特定于层的投影来访问自己的键和值。BellowsKV-Quant 在 3.6 倍压缩率下实现了近乎无损的精度，在 13-14 倍压缩率下实现了 97-98% 的精度…