peft
PulseAugur coverage of peft — every cluster mentioning peft across labs, papers, and developer communities, ranked by signal.
12 天有情绪数据
-
教程通过直接偏好优化微调语言模型
本教程详细介绍了使用直接偏好优化（DPO）和Anthropic HH-RLHF数据集微调语言模型的方法。它概述了设置Colab环境、通过审计偏见和过滤来准备数据以及构建DPO训练流程的步骤。本教程演示了微调Qwen2.5-0.5B-Instruct模型、评估其性能以及分析训练数据中潜在偏见的过程。
-
LLM 微调详解：PEFT 和 LoRA 技术解析
本文解释了使用参数高效微调 (PEFT) 技术微调大型语言模型 (LLM) 的概念，特别关注 LoRA（低秩适配）。文章指出，虽然 LLM 拥有广泛的通用知识，但需要进行微调才能将其专门用于特定任务，例如为特定框架生成代码或采用小众角色。PEFT 方法（包括 LoRA）通过仅训练一小部分附加参数并冻结大部分预训练模型的参数，从而以显著更低的计算成本和内存消耗来实现这种专业化，与传统的完全微调相比。
-
新框架认证基础模型适配器的有效秩
一篇新研究论文介绍了一个用于认证基础模型适配器谱秩的框架，超越了标称秩以推断有效秩结构。该工作开发了一个具有理论基础的有限样本框架，包括卡方散度和 Le Cam 界限，以分析适配器性能。提出了一种用于 PEFT LoRA 适配器的经验零假设工作流程，包括因子重构、蒙特卡洛 p 值和报告。对 26 个公共适配器的审计显示，校准后的有效秩通常远小于标称秩，并且与简单的能量保留不同。
-
浙江大学推出自适应适配器以提高VLM泛化能力
浙江大学和斯旺西大学的研究人员开发了一种自适应不对称适配器（A3B2），以改进视觉语言模型（VLM）的微调。他们的研究表明，图像编码器的激进微调会损害泛化能力，尤其是在分布外数据上。A3B2系统引入了一种机制，在模型置信度低时自动“刹车”图像编码器的更新，从而在允许高效适应的同时保持预训练模型的鲁棒性。
-
新研究探索主动行为的开放权重LLM重编程
研究人员探索了重编程开放权重大型语言模型行为的方法，使其从被动助手角色转向更主动、苏格拉底式的互动。通过广泛的超参数扫描和时期消融研究，他们为LoRA+等参数高效微调（PEFT）技术定义了数学边界，确定了最佳LoRA秩为16，训练窗口为2-3个时期。进一步的直接偏好优化（DPO）实验成功地将断言行为与语法分离开来，跨语言测试揭示了在相关语言中强大的个性转移能力，而在形态上差异较大的语言中则存在可识别的退化。
-
Whisper微调用于缅甸语医学语音识别
研究人员通过微调OpenAI的Whisper模型，开发了一个新的缅甸语医学语音识别框架。他们创建了一个包含28小时缅甸语医学语音的语料库，并由母语者进行了验证，同时使用了全参数微调和LoRA等参数高效技术。数据增强在嘈杂条件下提高了鲁棒性，表现最佳的系统myMediWhisper-Medium实现了最先进的23.44%词错误率。
-
IMDb情感分析教程结合了经典机器学习与DistilBERT LoRA
一个新教程详细介绍了使用斯坦福NLP IMDb数据集构建一个全面的情感分析工作流。它将传统的TF-IDF和逻辑回归基线与利用LoRA和PEFT的微调DistilBERT模型进行了比较。该教程还涵盖了诸如模型校准、通过显著性映射进行可解释性以及在未标记数据上通过伪标签进行半监督学习等高级技术。
-
阿里巴巴发布 Qwen3.8-27B 模型；AI 助力 GPU 移植；LLM 基础设施详解
阿里巴巴的 Qwen 团队发布了 Qwen3.8-27B，这是一个拥有 270 亿参数的密集模型，可容纳在单个 GPU 上，并支持 100 万 token 的上下文窗口，在 vLLM 中实现了 Day-0 集成。同时，研究正在探索 AI 辅助的 GPU 移植技术，用于遗留科学应用程序，展示了显著的速度提升和数值验证。此外，还详细介绍了 LLM 的 GPU 基础设施的更广泛格局，涵盖了硬件选项和优化技术，如连续批处理和层流式处理，以最大…
-
新的 LoRA 适配器增强文本到音频视频生成
一款名为 lightx2v/MiniMax-H3-Prompt-Rewriter-LoRA 的新 LoRA 适配器已发布，旨在增强文本到音频视频（T2VA）的生成。该适配器基于 Qwen3.6-27B 模型构建，可将简短的提示转换为详细、结构化的描述，用于多模态内容创作。配套的 LightX2V 推理引擎为 T2AV 生成等任务提供了优化的本地处理，并提供内存卸载和并行处理等功能。
-
PEFT方法为端侧小语言模型提供能耗高效的个性化方案
一篇新的研究论文评估了用于在消费级GPU上个性化小语言模型（SLM）的各种参数高效微调（PEFT）方法。该研究比较了五种方法——全参数微调、LoRA、LoRA+、QLoRA和BitFit——在不同的SLM架构上，包括基于Transformer的模型（如TinyLlama-1.1B和Qwen3-1.7B）以及基于SSM的模型（如Mamba-1.4B和Mamba-2-1.3B）。结果表明，LoRA+通常是最能耗高效的方法，而QLoRA在减…
-
新的Z-PEFT方法可检测微调AI模型中的后门
研究人员开发了Z-PEFT，一种用于检测参数高效微调（PEFT）模型中后门的新颖方法。该方法利用模型权重的规范谱签名来识别恶意模型，即使面对未见过的攻击或数据集。Z-PEFT为增强广泛共享的PEFT模型的安全性提供了一种轻量级且计算高效的解决方案。
-
FedWeave 框架通过原型专业化增强联邦 LLM 学习
研究人员推出 FedWeave，一个新颖的框架，旨在通过解决客户端之间的任务异构性来改进大型语言模型 (LLM) 的联邦学习。与之前在客户端级别进行专业化的方法不同，FedWeave 专注于在原型级别进行专业化，将专家聚合与路由器优化分开。这种不对称聚合方法旨在保持专家纯度和路由器对比度，从而在异构多任务基准测试中获得更好的性能。该框架还支持使用单个活动专家进行稀疏推理，同时保持高性能。
-
新API统一脑机接口模型
研究人员开发了Nimbus Personalizer，这是一个新颖的API，旨在简化各种脑机接口（BCI）基础模型的集成。该系统允许一个单一的集成点，从而可以使用不同的冻结EEG编码器，而无需为每种架构构建新的个性化堆栈。与传统的微调方法相比，Personalizer旨在减少适应时间和成本，并在多个数据集和编码器类型上显示出有希望的结果。
-
开发者按概念深度而非流行度绘制150个AI/ML工具图谱
一位开发者创建了一个约150个AI和机器学习工具的分类图谱，并按“概念深度”而非流行度进行组织。该图谱从即用型AI使用（如ChatGPT）的0级到研究和扩展（包括vLLM和DeepSpeed等工具）的4级不等。列出的每个工具都包含用于理解的文档或文章链接，以及其代码库或主页链接，链接会定期检查有效性。
-
新的DeCNIP方法可防御大语言模型后门攻击
研究人员开发了一种名为DeCNIP（Defense with Critical Neuron Isolation Pruning，利用关键神经元隔离剪枝进行防御）的新方法，以对抗大语言模型（LLMs）中的后门攻击。与以往侧重于微调或简单分类任务的防御方法不同，DeCNIP采用表征分析，在一个统一的流程中识别和中和后门。它隔离“后门关键神经元”（BCNs）并进行选择性剪枝，在保持模型97%正常性能的同时，将攻击成功率降低了95%以上。
-
PEFT方法为大型语言模型提供高效微调
参数高效微调（PEFT）通过仅训练一小部分参数或添加轻量级组件，为适应新的任务提供了大型预训练模型的方法。这种方法与完全微调不同，它显著降低了GPU内存需求和检查点大小，从而能够创建小型、便携、特定任务的适配器。虽然LoRA和提示调优等PEFT方法不能保证与完全微调相同的性能，但它们大大降低了计算需求和存储成本。
-
用户在双GPU集群上配置PyTorch并使用PEFT
用户正在详细介绍他们在一个个人双GPU集群上配置PyTorch的努力，使用了PyTorch版本为2.6.0和CUDA 12.6的Docker镜像。他们正在使用PEFT和SFTTrainer等库，并指出机器学习领域的挑战和快速发展。
-
开发者优先考虑 LLM API 模式而非 Prompt 工程以提高可靠性
开发者正将焦点从 Prompt 工程转移到更强大的大型语言模型 (LLM) API 集成模式。关键策略包括使用结构化输出（如通过函数调用或模式验证的 JSON）而非文本解析，批量处理请求以提高成本和速度效率，以及缓存上下文以进行多轮交互。此外，实现流式响应以进行早期错误检测并采用带超时的指数退避对于构建可靠的生产系统至关重要。LLM 网关（如 LiteLLM）的兴起，提供了一个跨多个提供商的统一 API，提供自动回退、智能路由和成本跟…
-
LLM 微调：全量与 PEFT 方法综合指南
本文全面概述了大型语言模型 (LLM) 的微调技术。它深入探讨了全量微调和参数高效微调 (PEFT) 方法，解释了从模型权重、矩阵分解到所涉及的数学原理的底层概念。
-
ICML 2026 投稿量激增，关注点转向 AI 推理与安全
在首尔举行的国际机器学习大会 (ICML) 2026 收到了超过 23,000 篇论文，投稿量几乎翻倍，同时保持了 26.6% 的录用率。关键研究趋势表明，研究重点正从简单地扩展模型转向“更好思考”，更加关注 LLM 推理、AI 安全与对齐，以及通过压缩和加速技术提高模型效率。中国研究人员的引用率日益提高，并开始定义研究问题，特别是 DeepSeek 在高效模型开发和多模态 AI 方面的贡献产生了影响。