在金融预测任务上对微调和检索增强生成 (RAG) 进行的实验表明，这两种技术都无法在不存在可预测信号的地方制造出可预测的信号。在小型数据集上微调大型模型会导致噪声和错误的记忆，从而导致下游性能下降。作者强调，严格的评估方法至关重要，因为简单的训练/测试分割会产生虚假的发现感，并且生成损失并不能可靠地预测下游质量。 AI
影响 强调了当前微调和 RAG 技术在从嘈杂数据生成可预测信号方面的局限性，并强调了严格评估的重要性。
排序理由 该条目是基于个人实验和分析的观点文章，而不是主要发布或研究发现。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p>The internet has a strong opinion about fine-tuning versus RAG, and most of it comes from people who never ran the experiment.</p> <p>I ran about a dozen — fine-tuning LLMs, fine-tuning embedders, six flavors of RAG — on a real system that makes forward-looking predictions aga…