一种名为 Voodoo Quant 的新型动态量化方法已根据 MIT 许可发布,可供开源社区使用。该方法利用梯度下降来优化每个张量的量化布局,允许为模型中的每个张量选择不同的量化级别。开发者旨在激发对动态量化技术的进一步研究和改进,并指出 Voodoo Quant 在激进的量化级别下表现良好,尽管在更高的量化级别下 Unsloth Dynamic 3.0 可能更优。 AI
影响 能够实现更高效的模型压缩,并可能在资源受限的硬件上更广泛地部署大型语言模型。
排序理由 发布了一种新的模型量化开源方法。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →