DistilVDR

DistilVDR：紧凑型视觉文档检索器实现教师模型 87% 的性能

研究人员开发了 DistilVDR，这是一种使用双学生蒸馏的紧凑型端到端视觉文档检索器。这个拥有 5.24 亿参数的新系统，是从一个拥有 80 亿参数的更大教师模型中蒸馏出来的，无需相关性标签或负采样。DistilVDR 提供两个版本：DistilVDR-HiRes 和 DistilVDR-Fast，它们的性能接近教师模型，同时与现有的 10 亿参数以下模型相比，显著减小了索引大小并提高了索引速度。