一种名为 Voodoo Quant 的新量化技术在模型优化方面取得了显著改进，在 Qwen3.5 模型上，其 KLD 指标比 Unsloth Dynamic 2.0 高出 95%。与 Unsloth 的块状方法不同，Voodoo Quant 单独优化每个张量，从而实现更通用和可迁移的优化。该方法在 Llama.cpp 框架（GGUF 的关键格式）中表现尤为出色，同时在 Torch 中也保持了竞争力，表明其是一种更稳健的优化策略。 AI
影响 这种新的量化方法有望在性能较弱的硬件上实现更高效的模型，从而提高本地 LLM 部署的可访问性和性能。
排序理由 提出了新的优化技术并附带了基准测试结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
