Colinearity Decay

Colinearity Decay 训练 Vision Transformers 以实现更好的低比特量化

研究人员开发了一种名为 Colinearity Decay (CD) 的新训练技术，以使 Vision Transformers (ViTs) 更易于进行低比特量化。该方法充当结构正则化器，惩罚 Transformer 块内的对齐以减轻有害的激活离群值，同时不影响架构或任务损失。CD 旨在提高量化模型的准确性，同时保持或增强全精度性能，为 ViTs 的高效部署提供了一种方法，且没有推理时间开销。