HiF4

新的 W4A4 量化技术增强了 Wan2.2-I2V-A14B 模型的推理能力

研究人员为 Wan2.2-I2V-A14B 模型开发了一种新颖的 W4A4 量化技术，旨在提高低比特宽度硬件上的推理效率。他们的方法将激活值异常的混合精度与逐通道平滑和前馈层的块状打包相结合。该方法在 VBench I2V 指标上取得了接近 FP16 的 2-3.5% 的结果，优于原生的 HiFloat4 基线。