UnSeenTimeQA

SAGE系统优化RAG检索以降低延迟和成本 · 跟踪2个来源

研究人员开发了SAGE，一种面向生产检索增强生成（RAG）系统的新型自适应检索策略。SAGE根据估计的查询难度动态调整每个查询检索到的文档数量，旨在满足延迟和成本方面的严格服务水平目标（SLO）。该系统使用初始检索的轻量级特征，并进行离线训练，在推理时增加的开销极小。实验表明，SAGE在各种数据集和LLM家族中，在保持答案质量的同时，显著提高了SLO合规性，并降低了延迟和成本，与静态基线相比。