一位开发者创建了一个名为 `streamft` 的免费工具，帮助用户微调超出其 GPU 内存容量的大型语言模型。该工具可作为浏览器计算器和 Python 包使用，在下载模型权重之前估算内存需求。它采用流式传输技术，一次只将一个 transformer 块加载到 GPU 上，基础模型权重保持冻结，而 LoRA 适配器可训练。这种方法允许在消费级硬件上微调更大的模型，例如在 6GB GPU 上微调 32B 模型，但与 PEFT 等针对较小模型的其他方法相比，它并非为速度优化而设计。 AI
影响 使在消费级硬件上微调大型 LLM 成为可能，可能使高级模型定制民主化。
排序理由 该项目描述了一个用于微调 LLM 的新软件工具。
- byjameson
- GeForce RTX 3050
- graphics processing unit
- LoRA+
- PEFT
- PyTorch
- Qwen/Qwen2.5-14B-Instruct
- streamft
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
