GeForce RTX 3050 Laptop GPU

新的开源工具Soup可在4GB显存GPU上进行LLM微调

一款名为Soup的开源工具已发布，它可以在显存仅为4GB的消费级GPU上对大型语言模型进行微调。这是通过一种称为“层流式加载”（layer streaming）的技术实现的，该技术一次仅将模型所需的必要部分加载到显存中。开发人员使用配备4GB显存的GeForce RTX 3050笔记本GPU成功微调了Meta的Llama 3.1 8B Instruct模型，这表明复杂的AI模型训练正变得越来越普及。