一篇新的 arXiv 论文评估了 Qwen2.5 Coder 大语言模型的量化版本,旨在确定在 MacBook Air M2 上,文件大小、精度和每项已解决任务的能耗之间的最佳平衡点。研究发现,对于较小的文件大小(1-2 GB),1.5B 和 3B 模型的 q4_K_M 量化在正确性和能效方面提供了最佳性能。尽管能耗显著增加,但较低精度的较大模型(如 7B-q2_K 模型)在已解决任务的数量上并未提供显著的提升。 AI
影响 为开发人员提供了在本地部署时选择高效量化代码大模型的指导,平衡了性能与资源限制。
排序理由 该集群包含一篇详细介绍大模型性能研究结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →