QEMFN

新的量子-经典框架增强了视觉-语言融合

研究人员推出了一种新颖的混合量子-经典框架——量子纠缠多模态融合网络 (QEMFN)，专为视觉-语言任务设计。该方法利用参数化纠缠作为结构化归纳偏置来融合图像和文本嵌入。QEMFN 将特征投影到量子态，通过纠缠电路处理它们，然后进行测量以生成融合表示。与使用相同的冻结 CLIP 主干和可比参数预算的经典融合方法相比，该框架在 COCO-5k 和 Flickr30k 等基准测试中表现出卓越的性能。