Randomized Hadamard Transforms

随机哈达玛变换被证明对AI量化有效

研究人员已从数学上证明，在各种AI应用中使用随机哈达玛变换（RHTs）作为统一随机旋转的高效替代方法是有效的。研究表明，组合两个RHTs可以确保单个坐标分布近似高斯分布，在DRIVE和QUIC-FL等方案中可媲美URRs的性能。对于向量量化，需要三个RHTs才能实现衰减的坐标协方差，从而确保与URRs相当的性能。该研究还引入了一种运行时检查，以动态调整使用的RHTs数量，从而优化实际非对抗性输入的性能。