实体 TinyLlama-1.1B

TinyLlama-1.1B

PulseAugur coverage of TinyLlama-1.1B — every cluster mentioning TinyLlama-1.1B across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_29321 · May 12 · 03:45

FibQuant 方法为 LLM 提供显著的 KV 缓存压缩

研究人员开发了 FibQuant，一种新颖的向量量化方法，旨在显著压缩大型语言模型 (LLM) 中使用的键值 (KV) 缓存。该技术通过用更高效的基于向量的方法替换标量量化，旨在减少与长上下文推理相关的内存流量。实验表明，FibQuant 可以在保持高保真度的同时实现显著的压缩率，例如在 GPT-2 small KV 缓存上实现 34 倍压缩，并在 TinyLlama-1.1B 等模型上展示出比现有方法更高的困惑度。