PEFT方法为端侧小语言模型提供能耗高效的个性化方案

一篇新的研究论文评估了用于在消费级GPU上个性化小语言模型（SLM）的各种参数高效微调（PEFT）方法。该研究比较了五种方法——全参数微调、LoRA、LoRA+、QLoRA和BitFit——在不同的SLM架构上，包括基于Transformer的模型（如TinyLlama-1.1B和Qwen3-1.7B）以及基于SSM的模型（如Mamba-1.4B和Mamba-2-1.3B）。结果表明，LoRA+通常是最能耗高效的方法，而QLoRA在减少Transformer模型的峰值VRAM使用方面表现出色，这表明优化的PEFT技术为端侧SLM部署提供了一条可行的途径。 AI

影响 LoRA+和QLoRA等优化的PEFT方法能够更高效地对小语言模型进行端侧个性化，降低VRAM和能耗成本。

排序理由 评估多种PEFT方法在不同SLM和基准测试上的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• BitFit
• Full Fine-Tuning
• LoRA+
• Mamba-1.4B
• Mamba-2-1.3B
• PEFT
• QLoRA
• Qwen3-1.7B
• TinyLlama-1.1B

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →