PulseAugur
实时 18:12:13

新框架指导大语言模型在检索增强生成(RAG)和长上下文处理之间进行选择

研究人员开发了一个名为 Pre-Route 的新框架,以帮助大语言模型(LLM)决定在文档理解中使用检索增强生成(RAG)还是长上下文(LC)处理。这个主动系统使用轻量级元数据来分析任务、估算覆盖范围并预测信息需求,从而做出更具可解释性和成本效益的路由决策。实验表明,Pre-Route 在 LaRALongBench-v2 等基准测试中优于现有方法,证明大语言模型具有潜在的路由能力,可以被有效激发,甚至可以蒸馏到更小的模型中。 AI

影响 提高了 LLM 文档处理的效率和可解释性,可能降低长上下文任务的成本。

排序理由 该集群包含一篇详细介绍新框架和实验结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新框架指导大语言模型在检索增强生成(RAG)和长上下文处理之间进行选择

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Minhao Cheng ·

    Route Before Retrieve: Activating Latent Routing Abilities of LLMs for RAG vs. Long-Context Selection

    Recent advances in large language models (LLMs) have expanded the context window to beyond 128K tokens, enabling long-document understanding and multi-source reasoning. A key challenge, however, lies in choosing between retrieval-augmented generation (RAG) and long-context (LC) s…