MI325X

Unsloth 为更快的本地 LLM 训练添加了 AMD GPU 支持

Unsloth 发布了一个更新，显著增强了对 AMD GPU 的支持，从而能够在 Windows、WSL 和 Linux 上进行本地 LLM 训练和推理。新版本与之前的配置相比，性能提升高达 2 倍，VRAM 占用减少 70%，且准确性没有损失。该更新还提高了与 AMD 的 MI300X 和 MI325X GPU 的兼容性，支持 GGUF 和 Safetensors 格式，并通过利用系统内存和跨多个 GPU 分割模型的功能，支持运行更大的模型。