fine-tuning
PulseAugur coverage of fine-tuning — every cluster mentioning fine-tuning across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
RAG 与微调：基于知识的易变性进行选择
许多团队错误地选择了微调，而检索增强生成（RAG）会更合适。核心区别在于知识的存储位置：RAG 利用运行时检索到的外部、易变性知识，而微调则将稳定的行为直接嵌入模型权重中。一个简单的问题可以帮助澄清选择：所需的智能是需要成为模型本身的一部分，还是存储在外部？
-
微调 vs. RAG：LLM应用开发的框架
构建LLM应用需要选择微调（fine-tuning）或检索增强生成（Retrieval-Augmented Generation, RAG）中的一种，对于需要频繁更新信息的应用，RAG是更优选择。微调更适合需要特定输出格式或风格的任务，因为它会修改模型的权重。对于既需要最新知识又需要一致行为的应用，建议结合使用这两种技术。RAG通常比微调的每次查询延迟和成本略高，但微调有前期训练成本。
-
微调 vs. RAG：选择正确的 LLM 定制方法
微调大型语言模型比检索增强生成（RAG）提供更强大的功能和更高的定制性，但成本也更高。理解这两种技术之间的权衡对于为特定 AI 应用选择最有效的方法至关重要。虽然 RAG 对于许多任务来说通常更易于访问且成本效益更高，但在需要专业知识或特定行为时，微调可以实现卓越的性能。
-
AI微调：何时需要以及如何高效进行
两篇文章讨论了微调AI模型的细微差别。一篇指南探讨了如何构建高效且优于通用模型的专业化小型模型。另一篇文章质疑了微调的必要性，认为预训练模型在许多AI任务中通常已足够。
-
RAG 系统通过集成外部数据检索来增强 LLM
检索增强生成（RAG）系统是通过允许大型语言模型（LLM）访问和利用外部、最新的信息来增强 LLM 的关键技术。RAG 通过在生成响应之前检索相关数据来解决 LLM 的知识截止日期和上下文窗口限制等局限性。这种方法与微调不同，微调会修改模型的行为而不是其知识库。构建 RAG 系统涉及两个主要管道：用于准备和存储数据的摄取管道，以及为每个用户查询获取上下文的检索管道。
-
评估RAG和微调方法以实现LLM知识接地
研究人员正在探索将大型语言模型（LLM）接地到特定知识领域的先进方法。一种方法是对LaTeX源代码进行预处理，以创建适合检索增强生成（RAG）的AI友好格式，从而保留PDF转换中丢失的结构和语义信息。同时，研究正在评估RAG与微调在工业问答系统（尤其是在汽车领域）中的成本效益。研究结果表明，虽然高端模型最初表现出色，但开源模型可以通过RAG达到相当的质量，使其成为总体上更有效的适应方法。