michaelw9999

新工具通过先进的 NVFP4/MXFP6 量化优化 llama.cpp 模型

一位开发者发布了一款先进的 llama.cpp 量化工具，旨在创建 NVFP4 和 MXFP6 GGUF 模型。该工具超越了基础量化，通过评估各种方法并结合 RSF（精炼尺度拟合）等自定义技术来优化模型性能。它使用困惑度（perplexity）和 KLD 等指标对层进行单独评分，同时保守处理敏感张量，并在合理时将其提升到更高的精度。该项目还包括一个用于 NVIDIA Blackwell 架构的新 MXFP6 CUDA 实现。