FineTuneBench

RAG 并非总是用于 LLM 知识基础的答案

检索增强生成 (RAG) 通常是 LLM 在公司知识基础上进行知识固定的默认选择，但它不一定总是最有效的解决方案。作者认为，微调和长上下文窗口解决的问题与 RAG 不同。微调最适合传授行为、语调和推理风格，而不是事实知识，因为模型权重是对数据进行有损压缩。长上下文窗口虽然很大，但仍然存在召回问题，特别是“中间丢失”问题，并且对于较小的模型来说，其性能可能不如 RAG。核心决策应该是信息属于模型的核心知识（微调）、加载到其工作内存（长上…