Qatma

新的QATMA框架解决了开放词汇目标检测中的低比特量化挑战

研究人员开发了QATMA，一个新颖的量化感知训练框架，专门用于开放词汇目标检测（OVOD）模型。该方法解决了在极端低比特量化时发生的跨模态和模态内对齐的退化问题，这是先前针对闭词汇检测器的方法未能解决的问题。QATMA采用基于课程的学习策略，逐步量化模型的不同组件，并使用文本锚定蒸馏来保留对齐信息。实验表明，QATMA在低比特条件下显著提高了LVIS和COCO基准测试的性能。