一篇新论文评估了 Qwen2.5-Coder 大语言模型的量化版本,以确定在笔记本电脑本地使用时能效最高的选项。研究人员在 MacBook Air M2 上测试了 24 个不同大小和精度的 GGUF 文件,使用 EvalPlus 基准测试测量每项已解决任务的能耗。研究结果表明,当文件大小时,具有中等量化(如 3B-q4_K_M)的小型模型比具有较低量化(如 7B-q2_K)的大型模型在性能和能效方面能提供更好的平衡。 AI
影响 通过平衡模型大小、量化和能效,为在资源受限设备上优化本地大模型部署提供了指导。
排序理由 研究论文,详细介绍了量化大模型的评估。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →