研究人员开发了 QV-PIC，一个旨在提高检索增强生成（RAG）系统效率的新型缓存框架。该方法通过将文本转换为视觉标记，然后进行缓存，来解决跨查询预填充相同文本块的冗余问题。QV-PIC 使用模型原生的 chat-template 前缀编译视觉缓存，从而提高缓存质量，并以低分辨率保持全局上下文，同时使用查询相关性分数恢复细粒度的文本证据。实验表明，QV-PIC 显著提高了 F1 分数，缩小了与基于文本的缓存的质量差距，并与完全预填充相比，大大减少了首次令牌生成时间。 AI
影响 提高了 RAG 效率，可能降低 LLM 应用的推理成本和延迟。
排序理由 详细介绍一种改进 AI 系统效率的新技术方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
