GreenBench

GreenBench论文揭示Apple Silicon在LLM推理方面的能源效率

一项新的研究论文介绍了一个名为GreenBench的框架，该框架旨在衡量在Apple Silicon上运行的开源大语言模型（LLM）的能源效率和碳足迹。研究发现，与数据中心GPU相比，苹果的M4 Pro芯片在单用户设置下进行LLM推理的能源效率显著更高。小型模型在每token吞吐量和能耗方面表现更好，其中Qwen 2.5和Llama 3.2根据准确性和速度被确定为不同用例的最佳选择。