MixLoRA-DSI

MixLoRA-DSI 提供高效的生成检索模型更新

研究人员开发了MixLoRA-DSI，一个旨在高效更新包含新文档的生成检索模型而无需完全重新训练的新框架。该方法采用可扩展的低秩适应（LoRA）专家混合模型和一种分层策略，仅在检测到分布外文档时引入新专家。在NQ320k和MS MARCO Passage数据集上的实验表明，MixLoRA-DSI在实现比完整模型更新更好的性能的同时，训练成本显著降低，参数开销极小。