NanoVDR

NanoVDR将2B VLM蒸馏成69M文本编码器，用于更快的视觉文档检索

研究人员开发了NanoVDR，这是一种新颖的视觉文档检索方法，可显著降低计算成本。通过将一个大型的2B参数视觉-语言模型（VLM）蒸馏成一个参数量小得多的69M的纯文本编码器，NanoVDR实现了教师模型95.1%的质量，同时大幅降低了延迟和GPU需求。该方法将文档和查询的编码路径解耦，认识到查询通常是更简单的文本字符串，需要更少的复杂处理。