研究人员开发了ChunkFT，一个新颖的框架，旨在显著减少大型语言模型全参数微调所需的内存。该方法动态激活一组工作参数，无需改变模型架构即可在子张量上进行梯度计算。实验表明，ChunkFT可以在单个消费级GPU上微调Llama 3-8B等模型，在显著减少内存占用的同时，实现与传统全参数微调相当的性能。 AI
影响 使得在消费级硬件上微调大型语言模型成为可能，从而可能使高级模型定制民主化。
排序理由 发布了一篇详细介绍LLM微调新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →