一位 Reddit 用户正在寻求关于优化 Ostris AI Toolkit 进行 StableDiffusion 模型训练的指导。他们遇到了工具每次都加载和量化完整模型权重到 FP8 的问题，认为这会导致不必要的时间延迟和潜在的内存不足 (OOM) 错误。用户正在寻找一种直接加载预量化 FP8 权重的方法来简化流程。 AI
影响 此查询突显了 AI 工具中潜在的可用性问题，表明需要为资源有限的用户提供更高效的模型权重处理方式。
排序理由 用户查询关于优化特定工具的功能。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Since i don't have an abundance of v\ram, when i train a lora, i set quantization to FP8, and whenever the training process starts, toolkit first loads full sized transformer weights into memory, and quantizes them. Then it loads text encoder wei…