aditiPatodiya/quantcheck-audit

Hugging Face、Ollama 上的量化大语言模型被发现无法正常工作

最近的一篇论文指出，公开模型库中可用的量化大语言模型（LLM）可能由于量化过程校准不当而无法正常工作。研究人员测试了 Ollama 库和 Hugging Face 上的数百个 GGUF 文件，发现一小部分官方标签，特别是较小模型的低比特量化模型，在基本的编码任务中失败。重新构建这些文件证实它们并未损坏，而是量化配方校准不当导致了其性能不佳，这表明在发布前需要进行筛选和校准。