研究人员开发了Codec-Gauge，这是一种训练后层，旨在改进长上下文Transformer模型中键值（KV）缓存的压缩。该方法学习正交通道变换，以优化KV缓存的坐标几何以适应压缩后端。通过将KV能量集中在低频布局中，Codec-Gauge显著降低了KL散度，并提高了各种量化方法的质量保持能力，其性能优于PCA和DCT等标准技术。 AI
影响 通过提高KV缓存压缩保真度，增强了长上下文AI模型的效率。
排序理由 学术论文，详细介绍了提高AI模型效率的新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]
- Auguste Hadamard
- Codec-Gauge
- discrete cosine transform
- Hugging Face
- Kivi
- KV cache
- principal component analysis
- Transformer
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
