LRA-EE

新方法绕过CLIP模型中的量化崩溃

研究人员发现了一种称为量化诱导表示崩溃（QIRC）的现象，该现象会影响像CLIP这样的视觉语言模型在为资源受限硬件部署进行量化时。这种崩溃的发生是因为激活噪声在Transformer层中累积，导致多模态嵌入失真并影响零样本检索准确性。为了解决这个问题，他们提出了LRA-EE，一种使用特定层的提前退出、学习到的置信门和层自适应阈值的方法，以绕过嘈杂的深层并提高性能。