Danish National Encyclopedia

RAG系统面临“覆盖幻觉”，浪费LLM成本

一篇新的研究论文介绍了“覆盖幻觉”现象，该现象在检索增强生成（RAG）系统中观察到，其中查询增强方法被普遍应用，导致不必要的LLM推理成本和延迟。对丹麦国家百科全书的案例研究显示，虽然合成查询表明超过90%需要增强，但只有27.8%的真实用户查询实际上需要。该论文提出了一种检索后级联方法，仅在必要时才升级到LLM增强，从而提高质量，将延迟降低31.8%，并为大多数查询提供服务而无需LLM增强。