一项新的研究论文介绍了一个名为GreenBench的框架,该框架旨在衡量在Apple Silicon上运行的开源大语言模型(LLM)的能源效率和碳足迹。研究发现,与数据中心GPU相比,苹果的M4 Pro芯片在单用户设置下进行LLM推理的能源效率显著更高。小型模型在每token吞吐量和能耗方面表现更好,其中Qwen 2.5和Llama 3.2根据准确性和速度被确定为不同用例的最佳选择。 AI
影响 强调了在消费级硬件上部署节能LLM的潜力,减少了某些应用对耗能数据中心GPU的依赖。
排序理由 一项研究论文,介绍了一个针对特定硬件平台上LLM能源效率的新基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
- Apple M4 Pro
- Apple Silicon
- GreenBench
- Llama~3.2
- macOS
- Massive Multitask Language Understanding
- Ollama
- Qwen 2.5
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →