实体
SpectralQuant
SpectralQuant
PulseAugur coverage of SpectralQuant — every cluster mentioning SpectralQuant across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法旨在提高 LLM KV 缓存压缩效率
研究人员正在开发先进的技术来压缩大型语言模型 (LLM) 的键值 (KV) 缓存，这是推理过程中内存成本的主要贡献者。JoLT 和 FlashJoLT 等新方法利用张量分解和残差分配，在性能损失极小的情况下实现了显著压缩，如在 Mistral-7B-v0.3 和 Llama 2 13B 等模型上所证明的。其他研究探讨了查询可见性如何影响压缩方法的排名，一些方法在事先不知道查询的情况下表现不佳。此外，PM-KVQ 和 REAL 等方法旨…
-
SpectralQuant 方法在 Qwen3.5 模型中恢复了 96.5% 的 BF16 性能差距
Spectral Labs 开发了一种名为 SpectralQuant 的新量化方法，旨在提高小型模型足迹的性能。他们发布的第一个版本是一个量化到 Q4_K_M 的 Qwen3.5 0.8B 模型，据称与完整的 bfloat16 精度模型相比，恢复了 96.5% 的性能差距。该方法与标准量化不同，它使用校准信号来保护行为上最敏感的权重，从而减少关键区域的量化误差。