Tasque

LoopVQ 方法大幅削减循环 Transformer 的 KV 缓存内存

研究人员开发了 LoopVQ，一种新颖的向量量化方法，旨在显著减少循环 Transformer 中键值（KV）缓存的内存占用。该技术利用了跨循环步骤的冗余，联合量化多个步骤的通道并微调码本以获得最佳性能。LoopVQ 在 Ouro 和 Huginn 等模型上实现了可观的压缩率，接近近 BF16 精度，并展示了服务吞吐量的显著提升。