attention keys

TurboQuant 将 AI 向量压缩至 2-4 比特，准确率无损

一种名为 TurboQuant 的新方法已被开发出来，用于将 AI 向量（如 KV 缓存和注意力键中的向量）压缩至每数字低至 2-4 比特，而不会牺牲准确性。该技术依赖于这样一个原理：随机旋转可以将输入向量转换为一个坐标遵循可预测模式的分布。通过为该分布使用预先设计的码本，TurboQuant 可以有效地压缩来自各种输入的向量。