研究人员开发了 DistilVDR，这是一种使用双学生蒸馏的紧凑型端到端视觉文档检索器。这个拥有 5.24 亿参数的新系统，是从一个拥有 80 亿参数的更大教师模型中蒸馏出来的，无需相关性标签或负采样。DistilVDR 提供两个版本：DistilVDR-HiRes 和 DistilVDR-Fast，它们的性能接近教师模型，同时与现有的 10 亿参数以下模型相比，显著减小了索引大小并提高了索引速度。 AI
影响 这项研究提供了一种更有效的视觉文档检索方法，有可能促进大规模文档分析系统的广泛应用。
排序理由 该集群描述了一篇关于新型视觉文档检索模型的新研究论文。
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
arXiv:2608.10636v1 Announce Type: cross Abstract: Visual document retrieval (VDR) is dominated by multi-billion-parameter models that are slow to index at full corpus scale and expensive to serve. Prior compression routes either train a smaller multi-vector encoder from scratch o…
Visual document retrieval (VDR) is dominated by multi-billion-parameter models that are slow to index at full corpus scale and expensive to serve. Prior compression routes either train a smaller multi-vector encoder from scratch or distil only the query side; neither yields a com…
DistilVDR is a compact 524M vision-document retriever distilled from an 8B teacher using cosine alignment without relevance labels, achieving near-teacher accuracy with far smaller indexes and faster indexing.