研究人员已从数学上证明，在各种AI应用中使用随机哈达玛变换（RHTs）作为统一随机旋转的高效替代方法是有效的。研究表明，组合两个RHTs可以确保单个坐标分布近似高斯分布，在DRIVE和QUIC-FL等方案中可媲美URRs的性能。对于向量量化，需要三个RHTs才能实现衰减的坐标协方差，从而确保与URRs相当的性能。该研究还引入了一种运行时检查，以动态调整使用的RHTs数量，从而优化实际非对抗性输入的性能。 AI
影响 为高效的AI模型压缩和加速技术提供了理论支持，有望提高推理速度并减少内存使用。
排序理由 该集群包含一篇学术论文，详细介绍了用于AI基础设施的技术的理论进展和证明。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
Vector quantization via random projection followed by scalar quantization is a fundamental primitive in machine learning, with applications ranging from similarity search to federated learning and KV cache compression. While dense random rotations yield clean theoretical guarante…
arXiv:2605.06014v1 Announce Type: new Abstract: Uniform random rotations (URRs) are a common preprocessing step in modern quantization approaches used for gradient compression, inference acceleration, KV-cache compression, model weight quantization, and approximate nearest-neighb…
Uniform random rotations (URRs) are a common preprocessing step in modern quantization approaches used for gradient compression, inference acceleration, KV-cache compression, model weight quantization, and approximate nearest-neighbor search in vector databases. In practice, URRs…