Unsloth 发布了 Qwen3.6 语言模型的新 NVFP4 量化版本，与 NVIDIA 的标准 NVFP4 量化相比，性能最高提升 2.5 倍，且不牺牲准确性。这些优化利用了 W4A4 进行矩阵乘法，并包含 FP8 KV 缓存校准，从而使上下文长度加倍。在 MMLU-Pro、AIME 2025 和 GPQA 上的基准测试显示，在 Qwen3.6 模型的不同版本上均取得了具有竞争力或改进的结果。 AI
影响 为本地 LLM 部署提供了显著的性能提升，有可能在消费级硬件上实现更复杂的任务。
排序理由 发布了带有基准测试结果的优化模型量化。 [lever_c 从研究降级：ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
