研究发现：量化对代码生成模型影响不同

一项新研究调查了各种量化方法对大型代码生成模型在资源受限硬件上运行时性能的影响。研究人员使用 Python 和 Java 基准测试，在 Qwen2.5-Coder 和 CodeLlama 模型上评估了包括 GPTQ、AWQ 和 AQLM 在内的六种最先进技术。研究结果表明，量化方法对代码的正确性和质量有显著且不同的影响，其中 AQLM 的表现与全精度模型相当，而 QuIP# 的性能下降最大。 AI

影响 通过评估不同量化技术的权衡，为在资源受限设备上部署大型代码模型提供了指导。

排序理由 该集群包含一篇研究论文，详细介绍了对代码生成模型量化方法进行的实证研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• Activation Aware Quantization
• AQLM
• bitsandbytes
• CodeLlama
• CoderEval: A Benchmark of Pragmatic Code Generation with Generative Pre-trained Models
• GGUF
• GPTQ
• Java
• McEval
• Ollama
• Python
• Quip#
• Qwen2.5 Coder

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →