研究人员开发了一种新颖的方法，利用手机的神经网络处理单元（NPU）对大型语言模型（LLM）进行设备端微调。该系统名为First-Order LoRA Training，能够让LLM直接在设备上从用户的私有数据中学习，而无需上传数据。该方法优化了NPU在权重乘法中的使用，并将训练图和适配器卸载到CPU，从而提高了效率并保持了梯度精度。 AI
影响 通过允许在不上传云端的情况下进行私有数据微调，从而在移动设备上实现个性化LLM体验。
排序理由 该集群包含一篇详细介绍LLM微调新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- AI accelerator
- central processing unit
- half-precision floating-point format
- llama
- LoRA+
- Qualcomm Snapdragon
- Qwen
- Xu Zheng
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
