研究人员开发了MixLoRA-DSI,一个旨在高效更新包含新文档的生成检索模型而无需完全重新训练的新框架。该方法采用可扩展的低秩适应(LoRA)专家混合模型和一种分层策略,仅在检测到分布外文档时引入新专家。在NQ320k和MS MARCO Passage数据集上的实验表明,MixLoRA-DSI在实现比完整模型更新更好的性能的同时,训练成本显著降低,参数开销极小。 AI
影响 该方法可以降低信息检索任务中大型语言模型更新的计算成本。
排序理由 该集群包含一篇详细介绍生成检索新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →