MaskAQ

新方法改进Vision Transformers的无数据量化

研究人员开发了一种名为掩码注意力对齐（Masked Attention Alignment, MaskAQ）的新方法，用于Vision Transformers的无数据量化。该技术识别并聚焦于图像块中最具信息量的区域，这些区域对于自注意力机制至关重要。MaskAQ对全精度模型和量化模型之间的这些关键区域进行对齐，从而提高了合成数据的质量并增强了各种任务的量化性能。