WAN2.2-TI2V-5B

新的EFQ-Softmax方法优化Transformer的低比特量化

研究人员开发了EFQ-Softmax，一种用于Transformer模型低比特量化的新颖方法，它绕过了Softmax的传统指数计算。该方法直接将移位的注意力分数映射到E2M1操作数，在不牺牲模型质量的情况下优化效率。在Qwen3-8B和Qwen3-VL-8B-Instruct等模型上的评估显示性能指标有所提高，并且在A5向量单元上的内核级测试证明延迟显著降低。