Cross Relational Distillation

新的CLIP-RD框架提高了模型蒸馏效率

研究人员开发了CLIP-RD，一个新颖的关系蒸馏框架，旨在创建更高效的CLIP模型版本。该新方法通过显式建模教师和学生嵌入之间的多向关系，解决了现有技术的局限性。CLIP-RD引入了垂直关系蒸馏（VRD）来对齐每个模态内的相似性分布，以及跨关系蒸馏（XRD）来强制双向跨模态对称性。该框架成功地使学生嵌入的几何结构更接近教师的嵌入，在最小的额外训练开销下，比CLIP-KD提高了1.8个百分点。