Joan Figuerola Hurtado

LoRA 适配器将文档内化以实现闭卷问答，性能优于 RAG

研究人员开发了一种方法，使用 LoRA 适配器将文档直接内化到 4 位 Gemma-4-e4b 模型的权重中。这种方法使模型能够以闭卷方式回答有关语料库的问题，而无需检索或超出上下文窗口。研究发现，数据质量，特别是经过一次精选过程缩短答案并删除琐碎信息，显著将闭卷准确率从 57.7% 提高到 85.7%。这种内化适配器还显示出比 BM25-RAG 管道更低的延迟和更优越的性能。