peft
PulseAugur coverage of peft — every cluster mentioning peft across labs, papers, and developer communities, ranked by signal.
13 天有情绪数据
-
Unsloth 优化 AI 模型以提高速度和效率 · 已追踪 2 个来源
Unsloth 发布了更新,显著提高了各种 AI 模型和任务的性能和效率。新的 Inkling 2 Mini 模型在减少内存使用量的情况下提供了强大的性能,使其适用于较小的 GPU。MiniMax-H3-Image 和 FLUX 变体等多种模型的图像生成速度已得到加快,GGUF 模型的 RAM 要求也显著降低。此外,Unsloth 还增强了 Apple Silicon Mac 上的视频风格重塑功能,并优化了 MCP 工具的聊天交互,以…
-
详解如何使用 LoRA 在云 GPU 上微调 Google 的 Gemma 4 模型
本文提供了关于微调 Google Gemma 模型(特别是 Gemma 4 系列)的详细指南,重点介绍了如何在云 GPU 上使用 LoRA 和 QLoRA 技术。文章概述了所需的软件库,如 Hugging Face TRL 和 PEFT,讨论了不同 Gemma 模型尺寸的内存需求,并根据 GPU 定价和训练时长比较了 LoRA 与 QLoRA 的成本效益。指南还阐明了 Gemma 4(Apache 2.0)与早期 Gemma 版本之间的许可差异。
-
使用CT扫描和报告适配3D医学VLM以进行HCC分类
研究人员开发了一种方法,通过使用计算机断层扫描(CT)扫描和放射学报告,将3D医学视觉语言模型(VLM)适配到机构特定的肝细胞癌(HCC)分类任务中。该研究比较了全参数微调和参数高效微调(PEFT)技术,发现这两种方法都比预训练模型提高了性能,且无需病灶级标注。PEFT,特别是使用ConvLoRA作为图像编码器和LoRA作为文本编码器,在仅更新约1%的模型参数的情况下取得了与全参数微调相当的结果,尽管需要更多的训练步骤。
-
PEFT方法在将3D医学VLMs适配于机构特定的HCC分类方面显示出潜力
研究人员探索了使用配对的腹部CT扫描和放射学报告,将3D医学视觉语言模型(VLM)适配于机构特定的肝细胞癌(HCC)分类。他们比较了全参数微调与参数高效微调(PEFT)方法(如ConvLoRA和LoRA)。两种方法均表现出强劲的性能,PEFT达到了0.79的AUC和0.70的F1分数,而全参数微调达到了0.82的AUC和0.71的F1分数。尽管PEFT仅更新了约1%的模型参数,但全参数微调收敛速度更快,但存在过拟合的风险。
-
新的 Qwen3.8-27B 适配器提升编码性能
Qwen/Qwen3.8-27B 模型发布了两个新的 LoRA 适配器:harness-hub/Qwen3.8-27B-opencode-adapted 和 harness-hub/Qwen3.8-27B-pi-adapted。这些适配器使用强化学习进行训练,以提高在软件工程和终端任务上的性能。OpenCode 适配器在 SWE-bench Pro 和 Terminal-Bench 2.1 上表现出显著的改进,以更少的 token 和…
-
Hugging Face发布TRELLIS.2 3D生成模型微调指南
Hugging Face发布了一份详尽指南,介绍如何微调TRELLIS.2,一个3D生成模型。该指南侧重于使用LoRA(低秩适配)来改进3D模型生成的特定方面,例如鞋底的准确性。它提供了可在本地或Hugging Face Jobs上运行的微调脚本和容器,利用PEFT库进行高效适配。
-
新的STABLE优化器解决了持续学习中的灾难性遗忘问题
研究人员开发了STABLE,一种新的对偶优化器,旨在解决持续学习中的灾难性遗忘问题。该优化器自适应地控制参数漂移,在不牺牲可塑性的情况下确保稳定性。实验表明,STABLE与PEFT基线结合使用时,在单模态和多模态任务上均能达到或超过现有的专业持续学习方法的性能,甚至在后者中保留了零样本迁移能力。
-
180B参数模型Darwin-180B-RSI通过0.02%的权重变更进行更新
VIDRAFT开发了Darwin-180B-RSI,一个拥有1800亿参数的语言模型,它通过仅更新0.02%的权重完成了自我改进过程。这种新颖的方法允许在冻结大部分参数的同时高效地更新模型。此外,该模型可以在消费级硬件上运行,通过SSD权重流实现每秒4.17个token的吞吐量,从而使大规模模型更加易于访问。
-
新型ALD-Font模型提升少样本中文字体生成能力
研究人员开发了一种名为ALD-Font的新模型,用于生成少量样本的中文字体。这种架构级解耦扩散模型能有效分离内容和风格,从而提高准确性和风格迁移能力。该模型采用U-Net骨干网络,并结合风格调制信号,同时引入参数高效微调技术,以适应新风格而不发生过拟合。此外,还增加了一个背景噪声去除模块和新的评估指标,以提升生成字符的质量。
-
LoRA 微调详解:训练内容、内存使用和数据集影响
本文深入探讨了 LoRA 微调的具体细节,解释了虽然它只训练模型参数的一小部分,但实际过程更为复杂。文章详细介绍了 LoRA 如何通过向特定层添加适配器矩阵来工作,主要是在 transformer 块的 MLP 投影中。分析强调,大部分内存使用来自冻结的基础模型权重,而可训练的适配器则显著更小。此外,文章还阐明,小型数据集会导致优化器更新次数有限,足以进行风格更改,而不是传授新知识。
-
领域对齐:将LLM适配到专业领域
领域对齐对于将通用大型语言模型(LLM)适配到医疗、金融和教育等专业领域至关重要。该过程涉及训练模型理解特定领域的术语和上下文,同时保留其广泛的语言能力。实现这一目标的技术包括准备特定领域的数据集、监督微调、参数高效微调(PEFT)方法(如LoRA和QLoRA)以及检索增强生成(RAG)以将模型与外部知识连接起来。关键挑战包括确定数据需求、平衡领域知识与通用能力以及有效衡量对齐程度和防止幻觉。
-
LoRA 与 QLoRA:选择正确的 LLM 微调方法
本文比较了 LoRA 和 QLoRA,这是两种用于大型语言模型(LLM)的微调技术。当 16 位模型能够容纳在可用 GPU 内存中时,LoRA 是合适的选择;而 QLoRA 通过将基础模型量化为 4 位,在内存受限的情况下更具优势。QLoRA 显著降低了内存需求,使得在更少的 GPU 上微调更大的模型成为可能,尽管由于计算过程中重新量化的过程,它可能会带来轻微的性能开销。作者建议在特定数据集上测试这两种方法,以确定在质量和成本效益方面的最佳选择。
-
LoRA 在速度和内存使用方面优于 QLoRA 和全量微调
最近在 L40S GPU 上对 Qwen2.5-1.5B-Instruct 模型进行了三种微调方法的基准测试:全量微调、LoRA 和 QLoRA。全量微调需要最多的内存,在使用 4 的微批次大小时消耗了 36.9 GiB。LoRA 比全量微调更快,内存使用更少,为 14.5 GiB,并实现了略低的留出损失。出人意料的是,QLoRA 比其他两种方法都慢,并且比 LoRA 使用了更多的内存。
-
新代码库支持使用 ZeRO-3 和 LoRA 的 EMA teacher 规模化自蒸馏
发布了一个新的代码库,能够实现使用指数移动平均 (EMA) teacher 进行规模化自蒸馏,即使是大型模型也能适用。该方法利用 LoRA 微调,共享一个冻结的主干,并管理两个轻量级适配器用于 student 和 teacher 传递。该实现旨在与 ZeRO-3 无缝协作,并包含内存峰值和适配器切换的修复,使其成为研究人员即插即用的解决方案。
-
免费工具助您在 GPU 内存有限的情况下微调大型模型
一位开发者创建了一个名为 `streamft` 的免费工具,帮助用户微调超出其 GPU 内存容量的大型语言模型。该工具可作为浏览器计算器和 Python 包使用,在下载模型权重之前估算内存需求。它采用流式传输技术,一次只将一个 transformer 块加载到 GPU 上,基础模型权重保持冻结,而 LoRA 适配器可训练。这种方法允许在消费级硬件上微调更大的模型,例如在 6GB GPU 上微调 32B 模型,但与 PEFT 等针对较小…
-
Ollama 放弃 LoRA 适配器支持,用户需合并或使用 llama.cpp
Ollama 自 2026 年 9 月发布的 0.34.1 版本起已弃用 LoRA 适配器支持。此更改意味着包含 ADAPTER 行的 Modelfiles 将导致错误,并且 Ollama 不再处理 safetensors 到 GGUF 或 GGUF 量化的转换。用户现在有两种主要方法来使用 LoRA 微调:要么将适配器直接合并到基础模型中,然后将生成的单个 GGUF 文件导入 Ollama,要么单独管理适配器并使用 llama.cp…
-
新框架TEPCA增强大模型在时序知识图谱上的推理能力
研究人员开发了一个名为时序证据-参数协同对齐(TEPCA)的新框架,以提高大语言模型(LLMs)处理时序知识图谱的推理能力。TEPCA通过确保检索到的证据不仅在语义上相关,而且在时间上连贯,并考虑事件顺序和演化依赖关系,来解决当前方法的局限性。该框架还引入了动态门控LoRA(DG-LoRA),这是一种参数高效的微调技术,可以根据时间上下文动态调整适应性,使LLMs能够更好地捕捉不断变化的实体语义和关系。
-
2026年选择LLM微调服务指南
本文提供了一份选择大型语言模型(LLM)微调服务的指南。内容涵盖了模型兼容性、训练数据的质量和管理,以及QLoRA和PEFT等高效微调技术的实施等关键考量因素。该指南还强调了隐私、可靠的评估方法以及清晰的模型所有权政策的重要性。
-
新的SVC方法平衡了LLM的学习与稳定性
研究人员开发了一种名为奇异向量通道(SVC)的新方法,用于大型语言模型(LLM)的持续学习。该方法通过选择性地更新模型中代表输入-输出转换的特定“通道”来解决灾难性遗忘的挑战。SVC旨在平衡新知识的获取与预训练能力的保留,在跨多个LLM家族和任务的实验中表现优于现有的参数高效微调(PEFT)方法。
-
Hugging Face Transformers v5.19.0 增加了 Gemma 2,更新了 MoE 模型
Hugging Face Transformers 库已发布 5.19.0 版本,引入了新的模型添加和对现有功能的重大更改。关键更新包括基于 Google 的 Gemma 4 架构构建的 EmbeddingGemma2 模型,该模型支持多模态嵌入。此次发布还标准化了 MoE 模型路由器的 logits 返回,与 Qwen3-MoE 模式保持一致,并修改了 Owlv2ForObjectDetection 的行为以改进查询选择。此外,该库…