Full Fine-tuning
PulseAugur coverage of Full Fine-tuning — every cluster mentioning Full Fine-tuning across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
LoRA与全参数微调：任务格式对提示安全分类至关重要
一篇新的arXiv论文研究了任务格式对语言模型适应性的影响，将低秩适应（LoRA）与全参数微调在提示安全分类上进行了比较。研究发现，仅在标签上训练时，全参数微调通常优于LoRA，但在LoRA被训练为在分类的同时生成推理解释时，这种差距缩小了。尽管模型在领域内准确率方面表现强劲，但在分布外对抗性提示方面却表现不佳，这表明适应方法和训练目标比单纯的领域内性能对鲁棒性更为关键。
-
新的 PEFT 方法 GPart 和 GDLoRA 旨在匹配全量微调的性能
两篇新的研究论文介绍了用于大型语言模型参数高效微调 (PEFT) 的新颖方法，旨在缩小与全量微调的性能差距。第一篇论文 GPart 提出了一种使用全局参数分区的端到端等距微调方法，该方法将可训练参数直接映射到具有固定几何形状的权重空间。第二篇论文 GDLoRA 将全量权重梯度分解以提取“法向梯度”分量，然后使用该分量直接更新基准权重，以补充标准的 LoRA 优化。这两种方法在各种基准测试中，在显着更低的参数预算下，均展示了与现有 PE…
-
LoRA vs QLoRA vs 全量微调：选择正确的LLM方法
文章比较了三种微调大型语言模型的方法：全量微调、LoRA 和 QLoRA。全量微调会更新所有模型参数，需要大量的硬件资源，这对于学生来说不切实际。LoRA 冻结基础权重并训练小的适配器矩阵，大大减少了内存需求。QLoRA 通过使用带有 LoRA 适配器的 4 位量化基础模型进一步优化了这一点，使得在消费级 GPU 上微调 Qwen3-1.7B 等模型成为可能。选择这些方法主要取决于可用的硬件和期望的结果，数据集质量是成功的关键因素。
-
新框架将推荐基础模型与业务指标对齐 · 跟踪 2 个来源
研究人员开发了一种新颖的三阶段后训练框架，以更好地将推荐基础模型与业务指标对齐。这种渐进式方法将下游适应（使用线性探测和完全微调）与通过带有学习奖励模型的强化微调进行的业务指标对齐分开。实验表明，这种多阶段方法优于单阶段替代方案，并在大规模在线测试中提高了推荐质量。
-
PEFT方法为端侧小语言模型提供能耗高效的个性化方案
一篇新的研究论文评估了用于在消费级GPU上个性化小语言模型（SLM）的各种参数高效微调（PEFT）方法。该研究比较了五种方法——全参数微调、LoRA、LoRA+、QLoRA和BitFit——在不同的SLM架构上，包括基于Transformer的模型（如TinyLlama-1.1B和Qwen3-1.7B）以及基于SSM的模型（如Mamba-1.4B和Mamba-2-1.3B）。结果表明，LoRA+通常是最能耗高效的方法，而QLoRA在减…
-
大语言模型改进：RAG、LoRA还是完全微调？
选择正确的改进大语言模型（LLM）的方法至关重要，因为团队常常在不考虑实际问题的情况下默认进行微调。如果大语言模型提供过时的信息、语气不正确或遗漏细节，解决方案取决于具体问题。选项包括用于提供最新信息的检索增强生成（RAG）、通过调整模型一小部分来教授新模式的低秩适配（LoRA），或改变所有模型权重的完全微调。
-
LoRA、QLoRA 和全量微调：LLM 定制方法详解
本文探讨了三种主要的定制大型语言模型（LLM）的方法：LoRA、QLoRA 和全量微调。旨在阐明这些技术之间的区别，并指导用户选择最适合其特定需求的方法，而无需深入探讨过于技术性的细节。
-
完整微调通过调整所有权重来使大型语言模型适应特定任务
完整微调是一种通过调整模型所有权重来使预训练的大型语言模型（LLMs）适应特定任务或数据集的技术。当目标数据与预训练数据不同时，此过程对于提高模型性能、准确性和泛化能力至关重要。尽管有效，但完整微调需要仔细管理以避免过拟合，尤其是在数据集较小的情况下，并且它是模型微调更广泛领域中的一个关键组成部分。
-
AI模型适配提升流派特定音乐和声预测能力
一篇新的研究论文探讨了为各种音乐流派适配Music Transformer模型的有效性。该研究测试了包括LoRA和IA3在内的五种适配方法，涵盖了十一种流派，发现所有方法都提高了和弦预测的准确性。然而，研究得出结论，虽然和弦符号可以增强流派特定的和声预测，但它们本身不足以完全捕捉流派的身份。
-
LLM 微调：全参数微调 vs LoRA vs QLoRA 详解
本文比较了三种大型语言模型（LLM）的微调方法：全参数微调（Full Fine-tuning）、LoRA 和 QLoRA。全参数微调会修改模型的所有权重，具有最高的潜在质量，但需要大量的计算资源。LoRA 和 QLoRA 是参数高效微调（PEFT）方法，仅训练一小部分参数，可大幅降低资源需求。QLoRA 通过使用 4 位量化进一步优化，可在单个 GPU 上进行微调，使其成为预算有限团队的实用选择。
-
LoRA enables efficient transfer learning for automotive aerodynamics models
研究人员开发了一种新方法，使用低秩自适应（LoRA）技术，能够高效地将大型基于Transformer的汽车空气动力学代理模型适应到新的车辆系列。该方法只需少量数据即可实现有效的迁移学习，通过向现有模型注入秩约束适配器，达到高精度（R^2=0.85）。该方法显著优于完全微调和从头开始训练，无需为每个系列准备大量数据集，并能在数小时内实现快速适应。
-
全参数微调通过调整所有参数来适应大型语言模型
全参数微调涉及调整预训练的大型语言模型（LLM）的所有参数，以更好地适应特定任务或领域。该方法旨在通过允许比部分微调更实质性的调整来最大化模型的潜力。虽然对于领域特定文本适应或情感分析等任务非常有效，但它带有过拟合的风险，尤其是在数据有限的情况下。