PulseAugur
中
实时 11:03:49

Colinearity Decay 训练 Vision Transformers 以实现更好的低比特量化

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为 Colinearity Decay (CD) 的新训练技术，以使 Vision Transformers (ViTs) 更易于进行低比特量化。该方法充当结构正则化器，惩罚 Transformer 块内的对齐以减轻有害的激活离群值，同时不影响架构或任务损失。CD 旨在提高量化模型的准确性，同时保持或增强全精度性能，为 ViTs 的高效部署提供了一种方法，且没有推理时间开销。 AI

影响 这项技术可以实现 Vision Transformers 在资源受限设备上的更高效部署。

排序理由 这是一篇介绍用于改进模型量化的新型训练技术的研究论文。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Colinearity Decay 训练 Vision Transformers 以实现更好的低比特量化

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Jin Tong, Guang Liang, Peilin Sun, Jianxin Wu ·

    Colinearity Decay：训练对量化友好的ViT模型并进行异常值衰减

    arXiv:2605.01330v1 Announce Type: new Abstract: Low-bit quantization is a practical route for efficiently deploying vision Transformers, yet activation outliers complicate fully quantized deployment. Existing methods either handle quantization post-training or suppress large acti…

相关实体

相关话题