ComfyUI-DoRA-Dynamic-LoRA-Loader 的新更新(版本 1.0.39)引入了 LoRA(低秩适配)的运行时旁路模式,在处理 MiniMax-H3 等大型模型时显著降低了 VRAM 消耗。此旁路模式通过在正向传播期间动态应用 LoRA 贡献来优化内存使用,而不是具体化基础模型权重的完整修补副本。在高 VRAM 场景下使用 MiniMax-H3 时,此优化可释放约 38 GB 的 VRAM,这对于运行这些大型模型的使用者至关重要。 AI
影响 降低了运行大型 AI 模型所需的 VRAM,可能使其能在性能较低的硬件上使用。
排序理由 这是用于 AI 模型推理的工具的软件更新,特别是优化了 VRAM 使用量。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →