peft
PulseAugur coverage of peft — every cluster mentioning peft across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
Hugging Face Transformers v5.19.0 增加了 Gemma 2，更新了 MoE 模型
Hugging Face Transformers 库已发布 5.19.0 版本，引入了新的模型添加和对现有功能的重大更改。关键更新包括基于 Google 的 Gemma 4 架构构建的 EmbeddingGemma2 模型，该模型支持多模态嵌入。此次发布还标准化了 MoE 模型路由器的 logits 返回，与 Qwen3-MoE 模式保持一致，并修改了 Owlv2ForObjectDetection 的行为以改进查询选择。此外，该库…
-
vLLM 0.30.0 错误缩放 LoRA 适配器，导致模型性能下降
vLLM 版本 0.30.0 中的一个错误导致其错误地缩放 LoRA 适配器，从而导致性能显著下降。该问题源于 vLLM 忽略了适配器配置文件中的 `rank_pattern` 和 `alpha_pattern` 设置，这些设置旨在允许适配器内的不同模块使用不同的缩放因子。相反，vLLM 应用了仅从基础 `r` 和 `lora_alpha` 值派生的单一、统一的缩放因子。事实证明，这种错误的缩放会在混合专家模型上将困惑度（perple…
-
新方法无需重新训练即可解决 LLM 后门攻击
研究人员开发了两种新方法，NEEDLE 和零空间投影技术，以对抗大型语言模型 (LLM) 中的后门攻击。NEEDLE 是一种无需训练的方法，通过估计激活向量的后门方向和拒绝子空间，然后应用权重正交化来识别和抑制后门触发器。零空间投影方法专门针对 LoRA 微调的 LLM，通过将更新投影到正交零空间上来净化它们，而无需重新训练。这两种方法都旨在显著降低攻击成功率，同时保留 LLM 的通用能力和学到的下游技能。
-
MechSparse 方法通过机制可解释性指导PEFT选择
研究人员开发了MechSparse，一种用于在大型语言模型中选择参数高效微调（PEFT）参数的新颖方法。与传统的启发式方法不同，MechSparse利用机制可解释性来识别对特定行为至关重要的模型组件的稀疏子集。该方法在Ministral-8B模型上进行了测试，用于斯瓦希里语跨度-JSON信息提取和英语到斯瓦希里语机器翻译等任务，并将其性能与随机选择、基于幅度的方法和基于梯度的方法进行了比较。
-
新方法探测 VLM 视觉编码器以进行最优 PEFT 层选择
研究人员开发了一种在新方法，用于在参数高效微调（PEFT）期间选择视觉语言模型（VLM）的视觉编码器中的最优层。该方法分析了 Q/K/V 投影权重的统计特性及其对扰动的鲁棒性。跨多个基准测试和 PEFT 变体的实验表明，具有较大权重范数和较高条件数的层往往更具适应性，并带来更大的微调收益，这表明这些预微调指标可以指导层选择，以在可训练参数更少的情况下提高性能。
-
Feyn 发布 MultiMatte，一个可提示的图像背景移除模型
Feyn 发布了 MultiMatte，一个新颖的图像背景移除模型，它使用自然语言提示来识别和分离对象。MultiMatte 基于 Meta 的 Segment Anything Model 3 (SAM 3) 构建，采用低秩微调 (LoRA) 技术修改 SAM 3 的一小部分参数，显著提高了其分割能力。这种方法允许 MultiMatte 生成 alpha matte，与 SAM 3 的二值掩码相比，它为像素提供了更细致的不透明度值，…
-
新的GAFT方法增强了越野导航中的危险识别能力
研究人员开发了地理锚定微调（GAFT）技术，这是一种新颖的参数高效方法，旨在改善越野导航中的危险识别能力。该技术通过整合几何推导的先验知识来适应视觉基础模型，并通过空间注意力展开来指导适应过程。GAFT旨在通过增强泛化能力来克服罕见故障事件（如卡住或陷入困境）的训练数据有限的挑战。在森林危险基准测试中，GAFT的表现显著优于现有基线，将F2分数从基线的0.0607提高到0.3757。
-
Hugging Face 重点介绍 AI 在机器人、基准测试和微调技术方面的进展
Hugging Face 正在重点介绍 AI 和机器学习的几项进展。其中一篇文章详细介绍了 Strands Agents 和 LeRobot 如何与硬件集成，展示了机器人领域的进步。另一篇文章讨论了使用专有工具对开放模型进行基准测试的挑战和方法，并质疑其自主性。此外，第三篇文章探讨了新的微调技术超越广泛采用的 LoRA 方法的潜力。
-
大模型革新电池管理系统：新路线图
一篇新的综述文章探讨了大模型（LMs），特别是基于Transformer架构和自监督学习的模型，在电池预测与健康管理（BPHM）中的应用。这些先进模型有望解决传统BPHM方法面临的挑战，如计算效率低下、泛化能力有限以及需要大量标记数据。该文章将当前进展归类于数据稀疏性缓解和可解释性等领域，并概述了未来的研究方向，包括协作数据生态系统和设备端部署。
-
新的FAN-LoRA方法改进了基础模型的医学图像分割
研究人员开发了FAN-LoRA，一种将视觉基础模型（如分割一切模型（SAM））适配到医学成像领域的新方法。现有方法在处理域偏移时存在困难，导致性能下降。FAN-LoRA通过解耦频率分量来解决这个问题，使用B样条驱动的低通分支处理全局结构，并使用傅里叶高通分支处理局部纹理。实验表明，FAN-LoRA在提高Dice分数和减少医学成像基准测试中的边界误差方面优于现有方法。
-
教程通过直接偏好优化微调语言模型
本教程详细介绍了使用直接偏好优化（DPO）和Anthropic HH-RLHF数据集微调语言模型的方法。它概述了设置Colab环境、通过审计偏见和过滤来准备数据以及构建DPO训练流程的步骤。本教程演示了微调Qwen2.5-0.5B-Instruct模型、评估其性能以及分析训练数据中潜在偏见的过程。
-
LLM 微调详解：PEFT 和 LoRA 技术解析
本文解释了使用参数高效微调 (PEFT) 技术微调大型语言模型 (LLM) 的概念，特别关注 LoRA（低秩适配）。文章指出，虽然 LLM 拥有广泛的通用知识，但需要进行微调才能将其专门用于特定任务，例如为特定框架生成代码或采用小众角色。PEFT 方法（包括 LoRA）通过仅训练一小部分附加参数并冻结大部分预训练模型的参数，从而以显著更低的计算成本和内存消耗来实现这种专业化，与传统的完全微调相比。
-
新框架认证基础模型适配器的有效秩
一篇新研究论文介绍了一个用于认证基础模型适配器谱秩的框架，超越了标称秩以推断有效秩结构。该工作开发了一个具有理论基础的有限样本框架，包括卡方散度和 Le Cam 界限，以分析适配器性能。提出了一种用于 PEFT LoRA 适配器的经验零假设工作流程，包括因子重构、蒙特卡洛 p 值和报告。对 26 个公共适配器的审计显示，校准后的有效秩通常远小于标称秩，并且与简单的能量保留不同。
-
浙江大学推出自适应适配器以提高VLM泛化能力
浙江大学和斯旺西大学的研究人员开发了一种自适应不对称适配器（A3B2），以改进视觉语言模型（VLM）的微调。他们的研究表明，图像编码器的激进微调会损害泛化能力，尤其是在分布外数据上。A3B2系统引入了一种机制，在模型置信度低时自动“刹车”图像编码器的更新，从而在允许高效适应的同时保持预训练模型的鲁棒性。
-
新研究探索主动行为的开放权重LLM重编程
研究人员探索了重编程开放权重大型语言模型行为的方法，使其从被动助手角色转向更主动、苏格拉底式的互动。通过广泛的超参数扫描和时期消融研究，他们为LoRA+等参数高效微调（PEFT）技术定义了数学边界，确定了最佳LoRA秩为16，训练窗口为2-3个时期。进一步的直接偏好优化（DPO）实验成功地将断言行为与语法分离开来，跨语言测试揭示了在相关语言中强大的个性转移能力，而在形态上差异较大的语言中则存在可识别的退化。
-
Whisper微调用于缅甸语医学语音识别
研究人员通过微调OpenAI的Whisper模型，开发了一个新的缅甸语医学语音识别框架。他们创建了一个包含28小时缅甸语医学语音的语料库，并由母语者进行了验证，同时使用了全参数微调和LoRA等参数高效技术。数据增强在嘈杂条件下提高了鲁棒性，表现最佳的系统myMediWhisper-Medium实现了最先进的23.44%词错误率。
-
IMDb情感分析教程结合了经典机器学习与DistilBERT LoRA
一个新教程详细介绍了使用斯坦福NLP IMDb数据集构建一个全面的情感分析工作流。它将传统的TF-IDF和逻辑回归基线与利用LoRA和PEFT的微调DistilBERT模型进行了比较。该教程还涵盖了诸如模型校准、通过显著性映射进行可解释性以及在未标记数据上通过伪标签进行半监督学习等高级技术。
-
阿里巴巴发布 Qwen3.8-27B 模型；AI 助力 GPU 移植；LLM 基础设施详解
阿里巴巴的 Qwen 团队发布了 Qwen3.8-27B，这是一个拥有 270 亿参数的密集模型，可容纳在单个 GPU 上，并支持 100 万 token 的上下文窗口，在 vLLM 中实现了 Day-0 集成。同时，研究正在探索 AI 辅助的 GPU 移植技术，用于遗留科学应用程序，展示了显著的速度提升和数值验证。此外，还详细介绍了 LLM 的 GPU 基础设施的更广泛格局，涵盖了硬件选项和优化技术，如连续批处理和层流式处理，以最大…
-
新的 LoRA 适配器增强文本到音频视频生成
一款名为 lightx2v/MiniMax-H3-Prompt-Rewriter-LoRA 的新 LoRA 适配器已发布，旨在增强文本到音频视频（T2VA）的生成。该适配器基于 Qwen3.6-27B 模型构建，可将简短的提示转换为详细、结构化的描述，用于多模态内容创作。配套的 LightX2V 推理引擎为 T2AV 生成等任务提供了优化的本地处理，并提供内存卸载和并行处理等功能。
-
PEFT方法为端侧小语言模型提供能耗高效的个性化方案
一篇新的研究论文评估了用于在消费级GPU上个性化小语言模型（SLM）的各种参数高效微调（PEFT）方法。该研究比较了五种方法——全参数微调、LoRA、LoRA+、QLoRA和BitFit——在不同的SLM架构上，包括基于Transformer的模型（如TinyLlama-1.1B和Qwen3-1.7B）以及基于SSM的模型（如Mamba-1.4B和Mamba-2-1.3B）。结果表明，LoRA+通常是最能耗高效的方法，而QLoRA在减…