byjameson

免费工具助您在 GPU 内存有限的情况下微调大型模型

一位开发者创建了一个名为 `streamft` 的免费工具，帮助用户微调超出其 GPU 内存容量的大型语言模型。该工具可作为浏览器计算器和 Python 包使用，在下载模型权重之前估算内存需求。它采用流式传输技术，一次只将一个 transformer 块加载到 GPU 上，基础模型权重保持冻结，而 LoRA 适配器可训练。这种方法允许在消费级硬件上微调更大的模型，例如在 6GB GPU 上微调 32B 模型，但与 PEFT 等针对较小…