iQuantize

新的开源工具简化了桌面用户的LLM量化过程

一款名为iQuantize的新型开源桌面工作空间已发布，旨在简化大型语言模型的量化过程。该工具支持转换为GGUF、MLX和ONNX格式，允许用户加载Safetensors或Hugging Face的模型。它提供分步引导的转换过程，能够可视化模型变更，并方便地发布至Hugging Face，附带详细的模型卡。该项目采用Apache 2.0许可，主要在Apple Silicon上进行测试，并提供Windows和Linux版本。