Elroy Galbraith

流式RAG技术通过早期稳定查询意图来隐藏工具延迟

一篇新的arXiv论文研究了流式检索增强生成（Streaming RAG）技术，该技术通过在用户输入的同时并行发出检索查询来隐藏工具延迟。研究人员表征了“工具意图稳定”，即推测性查询的检索收敛于正确结果的点，发现它通常在输入流的早期发生。这种早期稳定使得很大一部分工具延迟可以被隐藏，并且密集检索器复制证实了这种效果并非特定于像BM25这样的词汇搜索方法。